Ai2がBenchMIRTを公開。AI選びはランキングより中身の時代に

AI選びの画面に足りなかったもの

Ai2は2026年9月1日、Hugging Faceと自社サイトでBenchMIRTを発表しました。LLM（大規模言語モデル）の評価を、ベンチマーク（能力測定用の共通テスト）の総合点だけで終わらせない手法です。

仕事や学びでAIを選ぶ人にとって、これは遠い研究の話ではありません。AI選びは、ランキングより中身の時代に入っています。

AIサービスの比較では、よくベンチマークの順位が出ます。高い点数を見ると、何でも強いモデルに見えます。

けれども実際の利用では、求める力が場面ごとに変わります。文章を読む力と、危ない依頼を断る力は同じではありません。

職場で欲しい力はひとつではない

たとえば職場で困る場面は一つではありません。

・危ない依頼をきちんと断れるか ・込み入った文章を読み違えないか ・無害な依頼まで拒みすぎないか

同じAIでも、この3つの強さはそろわないことがあります。総合点は便利ですが、用途の差までは語り切れません。

BenchMIRTは点数の内訳を出す

BenchMIRTが開いたのは、その差を読む入口です。設問ごとにモデルの反応を分析し、どの能力が得点に効いているかを推定します。

Item Response Theory（テスト回答のパターンから能力を見る理論）を手がかりにします。さらにmultidimensional IRT（複数能力を同時に見る方法）で、複数の力を同時に扱います。

発表では、100のLLM、16のベンチマーク、34K超の質問が使われました。6つは一般推論を測る評価です。

MMLU-Pro、GPQA、MATH、BBHなどが含まれます。ほかの10はOlmo 3 safety suiteから来た安全性系の評価です。

発表から読める提供条件

一般ユーザー向けに、いつから月額いくらで使えるという発表ではありません。AI評価の研究と実装を公開したニュースとして読むのが自然です。

安全性という名前だけでは足りない

面白いのは、BenchMIRTがあらかじめ答えをもらっていないことです。どの評価が安全性で、どれが推論なのかを教えられていません。

それでも安全性と一般推論という2つの主要な次元を取り出しました。同じ分析をやり直しても、この2つが現れたとされています。

この結果は、AIの安全性評価を単純に否定するものではありません。むしろ、ラベルだけでは足りないと教えます。

BBQは社会的ステレオタイプを見る評価ですが、BenchMIRTでは一般推論との結びつきが強く出ました。WMDPも、安全性より一般推論との関連が強い動きを示しました。

HarmBenchのように、同じ評価の中で設問群が分かれる例もあります。有害な依頼への応答は安全性に近く、著作権関連の設問は安全性との結びつきが弱く出ました。

つまり、1つのベンチマーク名の下に、複数の性格を持つ問題が入っています。総合点は便利ですが、すべてを語りません。

ランキングを仕事の言葉に戻す

評価コストの面でも意味があります。BenchMIRTは、どの設問が能力差をよく映すかを推定できます。

発表では、10%の質問でもモデルの強弱に近い絵を保てたと説明されています。50%ではフル評価にさらに近づく場合が多いとされます。

未観測の設問についても結果が出ています。モデルが正しく答えるかの予測は79%でした。単純な平均点方式は70%です。

ただし、読者が誤解してはいけない部分もあります。発表で使われたモデルは2025年3月までに公開されたものです。

新しい世代のLLMで同じ読み方がどこまで効くかは、発表の範囲外です。設問を絞る仕組みは、重要な安全性設問を外す方向にも使われ得ます。

それでも、日常のAI選びには十分な示唆があります。営業資料、学習支援、調査、社内文書の読み込みでは、欲しい力がそれぞれ違います。総合点の高いAIを選ぶだけでは、場面に合わないことがあります。