ベンチマークの数字は、条件とセットでしか読めない
同じモデルの同じ試験でも、どこで読むかによって数字が違います。誤りとはかぎりません。多くの場合、同じ条件で測っていないだけです。
数字を動かすのは主に 3 つです。何回試して、そのうちどれを載せたか。1 回きりか、複数回の平均か、いちばん良いものかで変わります。次に、どれだけ考えさせたか。そして、モデルの周りをどう作ったか。使えるツール、制限時間、許した操作の範囲です。
SWE-bench Verified の一覧も、載せている結果にこうした条件を書き添えています[1]。Claude Mythos 5 の 95.5% は 5 回の平均で、考える量を最大にした設定です[1]。さらに、環境・ツールの権限・制限時間・実行の仕組みが結果を左右する、とも書いています[1]。
そうすると、あちこちの発表から集めたスコアを 1 つの表に並べたものは、比較ではありません。ただの一覧です。このサイトでは、条件を添えられないスコアは載せません。出典が食い違うときも、ならさずに両方を並べます。