メインコンテンツへスキップ
見出し画像

METR Anthropic AI 研究開発 加速は1.9倍?区間1.5〜2.8倍・過学習の可能性・黒塗りの証拠を原文と電卓で検算【11月9日時点】

    11月5日(木)、AI の評価をしている非営利団体 METR(メトル)が、「Anthropic の社内で、AI が AI の研究開発をどれだけ速めているか」の評価を公開しました。METR のスタッフが8月12日から10月29日まで Anthropic の社内データを見て、約15回のインタビューをした結果です。

    見出しでは「Anthropic の AI 開発は2倍速」と短く伝わりがちですが、原文には、何の何倍なのか、どこまで確かか、何が見えないのかが細かく書かれていました。「1.9倍」は、AI が研究をした速さそのものではなく、ベンチマーク(AI の成績を測る試験)の成績をまとめた指数の伸びです。METR 自身が過学習の可能性を書き、最も有益だと考えた証拠の大半は Anthropic に黒塗りされています。

    この記事では、METR の原文と Anthropic 自身の文書(8月のリスク報告書、10月15日の発表)を開いて報道と突き合わせ、1.9倍と区間を電卓(Python)で検算しました。伸び率を自分で出す小さなスクリプトも載せています。全文無料です。AI の暴走や終末を煽る記事ではありません。

    私は Claude Code と Codex を毎日使って、教材づくりや出品の自動化をしている個人です。AI の安全性や評価の専門家ではありません。引用は英語の原文を私が日本語にしたもので、METR と Anthropic の文書は開いて読みました。SEC の書類の本体だけは開けず、報道の引用に頼っています。

    この記事で分かること

    • AECI が何を測っていて、何を測っていないか

    • 「1.9倍」「区間 1.5〜2.8倍」「1.1〜2.9倍」の意味と電卓での検算

    • 過学習の可能性、黒塗りで見えないもの、Anthropic 自身の言い分、分かっていないこと

    先に結論

    • 測られたもの:AECI は、Anthropic の社内ベンチマークの成績をモデルごとに1つの数字にまとめた指数です(Epoch AI の ECI の社内版。未公開の社内モデルも含む)。研究の量や研究者の生産性を直接測った数字ではありません

    • 1.9倍:AECI の伸び(1年あたりの点数の増え方)が、2025年10月7日ごろを境に、それ以前の1.9倍になりました(95%信頼区間 1.5〜2.8倍)。この1年で以前のペースの約2年分(電卓では 22.8 か月分)を進んだ計算です

    • ぶれ:計算の前提を変えると 1.1〜2.9倍に動き、この幅(1.8)は標準の区間の幅(1.3)より広い。Anthropic 以外のモデルも入れると 1.4倍です

    • 黒塗り:METR が見た7種類の証拠のうち、公開版で結果を書けたのは1種類、一部が2種類、書けなかったのが4種類です(METR の表を数えた私の集計)。ただし 1.9倍の元の節の黒塗りは最小限でした

    • Anthropic:8月のリスク報告書(7月15日時点)は「2倍未満」。11月2日の上場申請の訂正は、将来のモデルが「間もなく」定義を満たすかもしれないが、現在のモデルは指定していない、という内容です

    • 「暴走が始まった」という話ではありません。METR も Anthropic も、7月15日時点のモデルの破局的リスクは「低い」と見ています。一方 METR は、今後さらに加速するリスクが大きいとも書いています

    画像

    時系列

    日付は2026年。時刻は原文に無いので、時間帯の基準は付けていません
    7/8      Anthropic の RSP(責任あるスケーリング方針)v3.4 が発効。R&D 自動化のしきい値を改定
    8/14     Anthropic が8月のリスク報告書(7月15日時点)を公開。同日、黒塗りなし版を METR に渡す
    10/15    Anthropic が METR の6人に「社員並みのアクセス」を与えたと発表(今回とは別枠)
    10/29    METR の評価期間が終わる(4週間の予定が11週間に)
    11/2(月) Anthropic が上場申請の訂正(S-1/A)を提出
    11/5(木) METR が公開

    AECI とは何か

    Anthropic の8月のリスク報告書(PDF)には、こう書かれています。

    the Anthropic ECI (AECI), our internal fork of Epoch AI's Epoch Capability Index

    ECI は、複数のベンチマークの成績をモデルごとに1つの数字にまとめた指数です。AECI は社内のベンチマークで作るので、Epoch の公開ランキングとは直接は比べられず、単位も Claude Sonnet 3.5 を 130 と置いた任意のものです。METR の付録によると、各モデルに「隠れた実力」を1つ置き、各ベンチマークの点がその実力のS字カーブ(ロジスティック関数)で決まると仮定して推定します。日付は「社員の大半が使えるようになった日」で、未公開の社内専用モデルも入っています。

    測っているのはベンチマークの成績で、研究の速さや、研究者が何倍速くなったかではありません。METR も、AECI の加速が実社会の影響の加速と同じとは限らないと書いています。測られているのは、手順や採点がはっきりした課題(well-specified tasks)です。また Model 4 は、試された15本すべてで 50%超を取っていて、METR は、AECI で今も今後も測れるか「やや不安」と書いています。

    「加速1.9倍」の定義と、電卓での検算

    METR の「加速」は、伸びる速さの比です。原文の例は、年15点ずつ伸びていたのが年30点になれば加速は2、つまり「2年分の進歩を1年で進む」です。Anthropic のリスク報告書も「ペースが2倍」を同じ意味で定義し、「研究者の生産性が2倍」とは別物だと注意しています。

    METR のやり方は、折れ点を1つ置いた折れ線を時間に対する AECI の点に当てはめ(最小二乗法)、前後の傾きの比を加速とします。折れ点はデータから 2025年10月7日と推定され、95%区間は点の取り直し(ブートストラップ)で求めています。この区間は、AECI の点の不確かさだけを反映していて、どのモデルを入れるかの選び方によるぶれは含まれません(原文に明記)。

    電卓(Python)の出力です(一部の行だけ抜き出し)。

    区間の幅 = 1.3(下側 0.4, 上側 0.9)
    a=1.5: 過去の1年分を   8.0 か月で / 直近12か月で過去の  18.0 か月分
    a=1.9: 過去の1年分を   6.3 か月で / 直近12か月で過去の  22.8 か月分
    a=2.8: 過去の1年分を   4.3 か月で / 直近12か月で過去の  33.6 か月分
    METR例2: 年3倍で伸びる量が 2年分を1年で進む -> 年 9 倍。加速 = ln9/ln3 = 2.0

    読み方です。

    • 1.9倍は「この1年で、以前のペースの約23か月分を進んだ」という意味で、METR の「約2年分」と合います。区間の端まで広げると 18〜34 か月分で、区間は上側(0.9)が下側(0.4)の2倍以上長い形です。区間には 2.0倍も入っていて、「2倍に達した」とも「達していない」とも言えません

    • 「何か月でスコアが倍になるか」への置き換えは、意味がないと判断して、やりませんでした。AECI は点数の線形の伸びで測っていて、ゼロ点も任意だからです。本文には点/年の実数もありません(グラフは画像で、読み取っていません)。代わりに「過去の1年分を何か月で進むか」にしました

    • 指数的に伸びる量なら話は違います。年3倍で伸びる量に加速 1.9 がかかると、年 8.1倍になり、2倍になるまでが 7.6 か月から 4.0 か月に縮みます(仮定の例で、AECI の実測ではありません)。「1.9倍」は年の倍率ではなく、対数で見た速さの比です

    論点1:1.9倍は、どこまで頑健か

    METR の付録には、リンク関数(ベンチマークの点と実力を結ぶ曲線の形。問題の難しさの分布の仮定)を変えた結果の表があります。当てはまりの良さ(サンプル外の R²)は、cauchit を除いてほぼ同じです。電卓の出力です(一部の行だけ抜き出し)。

    logistic                 1.9倍 [1.5-2.8]  R2 87.2%
    cauchit                  2.8倍 [2.0-4.1]  R2 86.1%
    complementary log-log    1.1倍 [0.8-1.5]  R2 87.1%
    log-log                  2.9倍 [2.1-4.9]  R2 86.9%
    
    点推定の範囲: 1.1 - 2.9(幅 1.8, 最大/最小 = 2.64倍)
    標準の95%区間の幅 = 1.3 -> 点推定のばらつき(1.8)の方が広い
    • 当てはまりがほぼ同じなのでデータだけでは形を選べず、METR は既定の logistic を使っています。complementary log-log だけ、区間が 1.0 をまたぎます(加速なしを否定できない)。私の読みでは、前提による動き(1.8)が標準の区間の幅(1.3)より広いので、区間の外にも別のぶれがあると考えるのが妥当です。スナップショット、ベンチマーク、正則化の選び方を変えても 1.9〜2.2倍でした

    • Anthropic 以外の最先端モデルも入れると 1.4倍です。METR は2通りの読み方を挙げています。2025年の Anthropic は最先端より遅れていたので 1.9倍は過大、という読み方と、他社の昔の点がベンチマークに合わせすぎで 1.4倍は過小、という読み方で、原文はどちらとも決めていません

    過学習の可能性

    METR は、自分の判断に大きく影響したという 1.9倍について、こう書いています。

    could be explained by overfitting to the benchmark distribution or otherwise be an artifact of the AECI methodology.

    AECI の点は研究の加速に遅れて出るうえ点の数も少なく、最近の加速を測れるかには自信がない、とも書いています。

    論点2:黒塗りで、何が見えて何が見えないのか

    METR の冒頭には、こうあります。

    Anthropic redacted a majority of the evidence we found most informative for these conclusions.

    METR の表では、社内モデルのベンチマーク成績(1.9倍の元)だけが、共有されて公開版にも書けました。AI の貢献を示す証拠と社員へのインタビューは一部だけ、途中経過の指標・アルゴリズムの進歩の推定・研究の入力の測定・ボトルネックと予測の詳細は書けませんでした。AECI の節の黒塗りは、ベンチマークの名前と1つのグラフだけでした。つまり 1.9倍そのものは、ほぼ公開された情報で検証できます。見えないのは、研究工程ごとの加速と AI の寄与の推定、計算資源・データ・アルゴリズムの内訳、将来モデルの予測などです。METR は、この報告は「証拠の透明性」を満たしておらず、読む人は理想よりずっと METR の判断に頼ることになる、と認め、黒塗りが正当だったかには意見を述べていません。

    Anthropic 側の説明です。

    • 10月15日の発表:METR は分析を公表でき、Anthropic は止められないが、機密の知的財産など決めた分類の情報は黒塗りを求められる。分類に当たるかを決めるのは Anthropic

    • Sam McCandlish(共同創業者):AP によると、METR の仕事を確かめにくくなることを認めたうえで、加速の原因を詳しく出すのは「商業的に機微」で、他社が速く進むための道筋を渡す恐れがあるので適切でない、と述べました。AP が引用した原文の一部は次のとおりです(X の投稿そのものは、私は開いていません)

    exactly what is driving the speedup isn't the right thing to do

    • 批判もあります。Cybernews によると、AI Futures Project の Daniel Kokotajlo は、黒塗りの理由(他社を速めないため)に対して、Anthropic は「ほとんど減速していないように見える」と批判しました

    METR は自分の側の弱点も書いています。Anthropic の無料のトークンと端末を使ったこと、チームの1人が Anthropic のオファーを断っていたこと、データの大半を Anthropic の職員2人経由で受け取ったこと、分析の大半が Claude に頼っていたことです。

    論点3:Anthropic は何と言っているか

    1. 8月のリスク報告書(7月15日時点)

    Our leading indicators point to a picture of meaningful acceleration starting in early-to-mid 2025, though by less than a factor of 2.

    2025年の加速は AI モデルの利用以外の要因によるものと「かなり確信している」、ただしその後も速い傾向が続く重要な要因は AI モデルだ、と書いています。「今後6〜12か月で、この脅威モデルが大きな懸念になる可能性がある」「今後1年のうちに、このしきい値を超えるかもしれない」と先も見て、破局的な事態の短期のリスクは「低い」としています。

    METR の評価は少し違います。公開版は加速を過小に見せている、7月15日までにしきい値を超えていた可能性は「ありうる」と書いています(ただし両者の関係者の多くは「超えていない」寄り)。社内の先行指標では、「2倍未満」という記述が、黒塗りなし版の数字から METR が計算すると 1.97 で、2.00 との差は約1.5%です。

    2. 11月2日の上場申請の訂正(S-1/A)。 TechCrunch が引用した、リスク要因の追記です。

    our internal estimates and our expectations regarding future models, rather than our current models, indicate that we may imminently meet our Responsible Scaling Policy's definition of "dramatically accelerated progress attributable to AI." We have not designated any of our current models as exceeding this threshold, and we continue to assess the underlying data.

    要するに、将来のモデルの内部推定が定義を満たしうることを示している、現在のモデルは指定していない、という内容です。同じ段落には、過去にも加速に後から気づいたことがある、という一文もあり、同じ S-1/A には、人が主導権を持つよう RSP の更新を検討している、とも書かれています。TechCrunch は、S-1 は開示であり宣伝でもあるという懐疑的な見方も書いています。

    3. McCandlish の投稿(AP の報道による)は、METR の結論の多くは自分の考えと合うと書き、こう書いています。

    AI is speeding up our research, but it's hard to say exactly how much

    注意点があります。METR の 1.9倍と、RSP の「2倍」は、同じ物差しではありません。 RSP のしきい値は、全研究者・エンジニアを置き換えられる場合もしきい値に当たりますが、ここでは「劇的な加速」の方を扱います。こちらは、(a) AI の総合能力の進歩の速さが、期待される速さと、AI の貢献が小さかった期間の最速の両方の2倍になるのを観察または予想し、かつ、(b) その2倍の相当部分が研究・開発の自動化によると考えられる、という2つの条件です。私の読みでは、AECI の 1.9倍と「2倍」を直接比べて「超えた/超えない」とは言えません。

    読者にとっての意味:数字を自分で出してみる

    「N倍速くなった」というニュースは、これから増えます。伸び率を出す練習として、標準ライブラリだけのスクリプトを載せます。データは架空で、私が 1.9倍に近くなるように置いたものです。実際の数字に置き換えてください。METR の方法の簡略版で、折れ点は手で決め、前後を別々の直線で当てます(Python 3.10 以上)。

    from statistics import linear_regression
    
    # 架空のデータ: (年, 指標のスコア)
    data = [(2023.8, 100.0), (2024.1, 105.1), (2024.45, 109.4), (2024.8, 115.6),
            (2025.1, 119.2), (2025.45, 125.3), (2025.9, 129.0), (2026.1, 134.2),
            (2026.45, 145.3), (2026.75, 153.0)]
    
    def accel(data, brk):
        pre = [(t, y) for t, y in data if t < brk]
        post = [(t, y) for t, y in data if t >= brk]
        if min(len(pre), len(post)) < 3:
            return None
        s1 = linear_regression(*zip(*pre)).slope
        s2 = linear_regression(*zip(*post)).slope
        return s1, s2, s2 / s1
    
    for brk in (2025.3, 2025.6, 2025.76, 2025.95):
        r = accel(data, brk)
        print(brk, "点が足りない" if r is None else
              f"前 {r[0]:.1f} 点/年 -> 後 {r[1]:.1f} 点/年 = 加速 {r[2]:.2f}倍")

    実行した結果です。

    2025.3 前 14.8 点/年 -> 後 22.4 点/年 = 加速 1.51倍
    2025.6 前 15.1 点/年 -> 後 28.7 点/年 = 加速 1.90倍
    2025.76 前 15.1 点/年 -> 後 28.7 点/年 = 加速 1.90倍
    2025.95 前 14.2 点/年 -> 後 29.0 点/年 = 加速 2.05倍

    同じデータでも、折れ点を 2025.3 に置くと 1.51倍、2025.95 に置くと 2.05倍です。区間だけでなく、前提の置き方でどれだけ動くかを見るのが、METR の頑健性の表と同じ発想です。ニュースの「N倍」では、何の N倍か(能力指数か、個人の作業時間か、組織全体の進歩か)、どの期間の何点から出したか(点が少ないほど動く)、前提を変えても残るか(METR は 1.1〜2.9倍と 1.4倍を自分で出しています)を聞くと重さが分かります。

    分母の違いの例が、METR の中にもあります。Anthropic 社内の Slack の投票で、最新モデルによる自己申告の作業の速さは、2026年10月に平均で約12倍でした。METR はこれを「ごく緩い証拠」と呼び、個人の速度向上は全体の進歩の加速とは対応しない、と書いています。私の簡単な算数の例(METR の分析ではありません)では、作業の約半分だけが12倍になり、残りが変わらなければ、全体は 1.85倍にとどまります。12倍と1.9倍は両立しうる、というだけで、Anthropic の実際の配分ではありません。

    METR の過去の研究もあります。2025年7月の実験では、経験豊富な開発者16人が AI を使うと、作業が 19% 長くかかりました(速さに直すと 0.84倍)。開発者の自己評価は 20% の高速化でした(ページには今「結果は古い」の注記があります)。

    分かっていないこと・次に見ること

    • 黒塗りの中身:METR が最も有益だとした証拠と、約100ページの完全版は、公開されていません。ベンチマークの名前も黒塗りです

    • AI の寄与の割合:METR スタッフの主観的な推測は「現在の加速の大半(おそらく約80%)」で、不確かさが大きい

    • 広い仕事への影響:曖昧な仕事への波及は、METR も不確かだと書いています。社員の感覚も割れていて、Claude が11人の発言を分類した結果は、2倍以上に賛成(やや賛成を含む)5人、どちらとも4人、反対2人です

    • 私たちが使う Claude の料金や使用量:料金や枠が変わるという記述は、私が読んだ範囲では見つかりませんでした

    次に見るのは、Anthropic の上場(AP は「今月中に計画」と書いています)の前後に、人が主導権を持つ具体策が出るか、METR の次の評価(計算資源の配分の検証は、Anthropic が後で再検討するとのこと)、他社の同様の評価が出るか、です。

    確かめたこと・確かめていないこと

    • 確かめた:METR の評価の本文(全文)、8月リスク報告書へのレビュー、2025年7月の実験のページ、Anthropic の10月15日の発表、RSP のページ、8月のリスク報告書(PDF。AECI・R&D 自動化の節)、TechCrunch が引用した S-1/A の文面、AP と Cybernews の記事、数字の検算

    • 確かめていない:SEC の S-1/A 本体(14MB。curl は 403、閲覧ツールはサイズ超過。提出書類の一覧ページで 11月2日付の S-1/A があることだけ確認)。McCandlish の X の投稿、Kokotajlo の元の投稿、METR の完全版と図(画像)の値。AP は ITV 掲載分が開けず、別の掲載分を読みました

    • AECI の点数の実数や黒塗りの中身は、見られなかったので、推測していません

    まとめ

    • 1.9倍[1.5〜2.8]は、Anthropic の社内ベンチマークの指数 AECI の伸びが、2025年10月7日ごろを境に加速したという推定です。この1年で以前のペースの約23か月分を進んだ計算です(電卓)

    • 前提を変えると 1.1〜2.9倍、他社を入れると 1.4倍です。前提による動き(1.8)は標準の区間の幅(1.3)より広く、METR 自身が過学習の可能性を書いています

    • 最も有益だった証拠の大半は黒塗りで、METR は「証拠の透明性」を満たしていないと認めています。一方、1.9倍の元の AECI の節の黒塗りは最小限です

    • Anthropic は、8月は「2倍未満」、11月は「将来のモデルで間もなく満たすかも」と書いています。METR の 1.9倍と RSP の「2倍」は、同じ物差しではありません

    出典


    次に読む

    このアカウントをフォローすると、AI まわりの新しいニュースの整理や、Claude Code・Codex の手順の記事が届きます。ぜひフォローしてください。

    この先で分かること(今後の有料記事)

    • 長い報告書やニュースを、数字・引用・日付に分けて、一次情報と照合する指示文

    • 発表の中の「N倍」を自動で拾って、分母・期間・区間をチェックするスクリプト(設計とコード)

    • 自分の作業が「何倍速くなったか」を記録して計測する方法

    まさのAI実務ラボ|Codex・Claude Code では、有料記事が読み放題になります。テンプレートや指示文をまとめて使いたい方はご覧ください。

    あなたへのおすすめ