メインコンテンツへスキップ
見出し画像

Opus 5.5もGPT-6も正答率3%以下に崩壊!?AIが「5つのカップのシャッフル」を追えない理由を暴いたAi2『StateBench』が面白すぎる

    「最新のLLMは100万トークンの長文も丸暗記できる」「干し草の中の針(Needle in a Haystack)テストも正答率100%を達成した!」
    そんな華々しい結果を見て、「もうAIの記憶力に限界はないんだな」と思っていませんか?

    ところが実際に、長いコードを読ませたり、業務ログやスプレッドシートの編集履歴を追わせたりすると、急にAIがトンチンカンな嘘をついてパニックを起こしますよね。

    2026年11月3日、米Allen Institute for AI(Ai2)の研究チーム(Jackson Petty氏、William Merrill氏、Ashish Sabharwal氏)が、その「長文におけるAIの記憶崩壊」の正体を数学と実験で鮮やかに暴いた新ベンチマーク&論文 『StateBench』 を公開しました!


    これ、読めば読むほど鳥肌が立つ面白さです。
    一言で言うと、「過去の1文を検索するだけなら最新AIは100点満点を取れるが、変数の再代入やカップの入れ替えのように『次々と変化する状態(State Tracking)』を追跡させると、Claude Opus 5.5やGPT-6 Sol / Luna、Gemini 3.8 Flashといった世界最強モデルですら、長文で正答率が13%〜0%へと大崩壊する」 という事実を証明したのです!

    さらに胸が熱くなるのが、275M(2.75億)パラメータの小型モデルをゼロから学習させて「学習時の250倍の長さ(64,000回の状態更新!)」を競わせた実験です。
    純粋なTransformerが最難関の変数スワップを1ミリも学習できずに自滅する横で、「Gated DeltaNet」とハイブリッドモデルが250倍の64,000回までほぼ100%の精度で汎化する という大逆転劇を見せつけました。

    今回は、Ai2の公式ブログ・論文(arXiv:2611.03094)・GitHubを丸裸にし、「なぜTransformerは5つのカップのシャッフルを追えないのか?」「なぜスプレッドシート形式にした途端にAIが馬鹿になるのか?」という謎と、今すぐ試す方法をワクワク解説します!


    1. 「検索できる」と「状態を追える」はまったく別の能力だった!


    まずは論文の冒頭にある「ミステリー小説のナイフ」の例え話から見てみましょう。
    もし事件直前に「ジョンがメアリーにナイフを渡した」と書いてあれば、今のLLMは100万トークンの小説からでもその1文を検索(Retrieval)して簡単に答えられます。

    では、こんな風に書かれていたらどうでしょうか?

    ・ 10ページ目:「エドワードが、ジョンのリュックにナイフを入れた」
    ・ 250ページ目:「ジョンが、リュックの中身をすべてメアリーのカバンに移した」
    ・ 800ページ目:「メアリーが、自分のカバンとアリスのカバンを取り違えて持ち帰った」

    この場合、「ナイフ」という単語を検索しても犯人は絶対にわかりません。
    カバンという「器(変数)」の中身がどう移り変わったかという 「状態変化の連鎖(State Tracking)」 を、最初から1ステップも漏らさず頭の中で更新し続けなければならないからです。

    私自身もPC作業でAIにリサーチやコード作成を手伝わせる際、条件や変数が複雑に絡み合うと回答が空転する失敗から、前提・制約を構造化するプロンプトを徹底するようになりました。また、Windows PCでローカルLLM(Qwen系など)を動かそうとして負荷と発熱でSSDを故障させ、Google ColabのA100環境へ移行した経験からも、「ただコンテキスト長を伸ばすだけでは、AIの頭の中の状態管理は解決しないのでは?」と感じていました。

    先日ご紹介した 『qwenGPU』 では、Qwen3.5の「DeltaNet層」の状態行列をビデオメモリに見立て、重み内で物理シェーダーと画面描画を動かすハックを解説しました。


    「なぜQwen3.5などの最新モデルは、従来のAttentionだけでなくGated DeltaNetを混ぜているのか?」――今回の StateBench は、まさにその疑問に対する数学的・実証的な「答え合わせ」なのです!


    2. 代数学で分ける「4段階レベル」と天才的な「双子パズル」


    従来の研究は最難関の「5つのカップのシャッフル(5次対称群 $S_5$)」ばかりをテストしており、日常のシンプルな状態変化との境界線が謎のままでした。
    そこでAi2チームは、代数学の金字塔 「Krohn–Rhodes(クローン・ローズ)分解定理」 を応用し、状態追跡の難易度を 4つのレベル に分解しました。

    画像

    ① レベル1:R-trivial(定数代入 = 人間の生年月日)
    最初に let x = 4 と決まったら一生変わらない設定です。「一番最初に変数が登場した場所」さえ見つけられれば100%正解できます(時相論理 $\mathsf{LTL}[\mathsf{past}] \subset \mathsf{AC}^0$)。

    ② レベル2:Aperiodic(値の上書き = エアコンの設定温度)
    x = 4 のあとに x = 2 が実行される定数の上書きです。途中の履歴は無視して「一番最後に設定された温度」だけを見つければ正解できます(一階述語論理 $\mathsf{FO} = \mathsf{AC}^0$)。

    ③ レベル3:Soluble(自己参照加算 = ゲームの累積スコア・銀行残高)
    x <- (x + 5) mod 100 のように、「自分自身の現在の値」 に変化量を足し上げていく更新です。最後の行だけ見ても答えは出ず、最初からすべての足し算を順番に積み上げる必要があります($\mathsf{FO} + \mathsf{MOD} \subset \mathsf{TC}^0$)。

    ④ レベル4:General finite(参照スワップ = 5つのカップの高速シャッフル)
    TMP <- a; a <- b; b <- TMP のように、「別の変数の現在の値」 をコピーして入れ替える操作です。5つ以上の変数がスワップし始めると非可解群($S_5$)が生まれ、計算複雑性は $\mathsf{NC}^1$ 完全へと跳ね上がります。

    さらにGitHubリポジトリを見て一番シビれたのが、ノイズを完全に排除する 「双子(Twin)生成アルゴリズム」 です!


    レベルごとに別々の乱数で問題を作ると、「たまたま出た数字が難しかっただけ」という言い訳ができてしまいますよね。そこでStateBenchは、まず レベル4(periodic)のスワップ問題を1つ作り、そこから他の3レベルを逆算して生成 します。

    たとえば変数 a(現在値10)に変数 b(現在値38)をコピーする行があったとき、同じ行を次のように書き換えるのです。

    ・ レベル4(General finite):a <- b(他人を参照して38にする)
    ・ レベル3(Soluble):a <- (a + 28) mod 100(自分に28を足して38にする)
    ・ レベル2(Aperiodic):a <- 38(定数38で直接上書きする)
    ・ レベル1(R-trivial):a に最初の初期値を代入する

    こうすると、レベル2〜4は 「変数の数(2〜16個)も、数値の語彙も、代入位置も、毎ステップ終了時の各変数の値(最終的な正解)すら100%同一」 になります!違うのは純粋に「その1行が誰を見ているか(誰も見ない・自分を見る・他人を見る)」だけという、言い訳の効かない実験設計です。


    3. Opus 5.5が3%、GPT-6が0%へ!大崩壊の真犯人とスプレッドシートの罠


    では、私たちが普段使っている世界最強モデルにこの双子パズルを解かせるとどうなるのでしょうか?

    ① フロンティア4大モデルの大崩壊と「感度(Sensitivity)」の壁(Figure 6)
    Ai2チームは Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol、GPT-6 Luna の4大モデルに、5択ではなく全変数の最終値を直接出力させるガチンコ勝負(1K〜100Kトークン超)を挑みました。

    ・ レベル1 & レベル2(上書き代入まで)
    4モデルとも10万トークン近い長文まで ほぼ100%の満点!(GPT-6 Lunaのみレベル2最長で87%)。「最後に書かれた場所を探す」だけなら、Attention機構は針の穴を通す正確さで機能します。

    ・ レベル3(Soluble:自己参照加算)
    ところが足し算を積み重ねるレベル3に入った瞬間、10Kトークンを超えたあたりからグラフが崖から転がり落ちます!
    最長領域の正答率は、粘った Claude Opus 5.5でも 53%、Gemini 3.8 Flashが 3%、GPT-6 Solが 3%、GPT-6 Lunaに至っては 0%(全問不正解) に沈みました。

    ・ レベル4(General finite:変数スワップ)
    カップを入れ替えるレベル4では4モデルすべてが膝をつき、最長領域で Gemini 3.8 Flashが 13%、Claude Opus 5.5が 3%、GPT-6 Solが 0%、GPT-6 Lunaが 0% と全滅しました!

    なぜレベル2までは100点なのに、レベル3・4でいきなり0%〜13%に崩壊するのか?
    その真犯人は、「Sensitivity(感度:途中のたった1行を書き換えただけで最終回答が変わってしまうステップの割合)」 にありました(Table 1)。

    ・ レベル1・2の感度(中央値):わずか 0.08(最大依存チェーン長 0ステップ)
    途中の92%の行はあとから別の定数で上書きされて消えるため、途中を読み飛ばしても最後の代入さえ見れば正解できます。

    ・ レベル3・4の感度(中央値):一気に 0.76(Soluble)・0.75(General finite) へ約10倍に急騰!
    最大依存チェーン長は 21,300〜32,100ステップ に達します。途中の75%以上のステップが最終結果に直結しており、何万行もあるうちのたった1行を見落とした瞬間に、ドミノ倒しで最終回答が壊れる のです。

    しかも実際のPythonコード理解ベンチマーク 「CruxEval」 の関数ループを展開して感度を測ったところ、実コードも見事に「低感度の山」と 「ほぼ1.0に近い高感度の山」の2つ(二峰性) に分かれていました。AIが長いコードのリファクタリングで急にバグを生む原因は、まさにこの高感度な状態追跡の崩壊だったのです。

    ② 「スプレッドシート形式」に変えた瞬間、正答率100%→20%に墜落する罠(Section 6)
    さらに事前学習済みオープンモデル(Olmo 3 7B、Olmo Hybrid 7B、2.7B / 275Mモデル)に対し、同じパズルを 6種類の表面フォーマット(①整数コード、②スプレッドシート編集、③キューブの色塗り、④部屋の移動、⑤ステータスランプ、⑥RULER形式)に着せ替え、意地悪な邪魔者行(Archived note, not an edit: cell A1 previously contained 59. など)も混ぜて出題しました。

    すると、実務者にとって背筋が凍る現象が起きました。

    ・ RULER形式なら100%なのに、スプレッドシート形式だと20%へ墜落!
    275MのHybridやGated DeltaNetは、レベル1を標準の「RULER形式」で出題されるとほぼ100%を叩き出します。
    ところが、まったく同じ問題を「スプレッドシートのセル編集(Enter 38 in cell A1…)」の文章に変えた途端、正答率が約20%(5択の当てずっぽう=Chanceレベル)へと真っ逆さまに墜落 したのです!

    ・ 長文やレベル4では7Bモデルも崩壊
    最も得意な形式でも訓練長64Kを超えて100Kトークンに達すると、レベル2で Olmo 3 7Bが58%、Olmo Hybrid 7Bが40% に低下し、レベル4では全モデルが 18%〜26%(ランダム回答) に張り付きました。ベンチマークと現場のExcel変更ログのギャップが鮮明に暴かれています。


    4. Transformer vs Gated DeltaNet!250倍(64,000回)へ汎化した真の勝者


    ここで最大の疑問が湧いてきます。
    「レベル3・4の崩壊は単なる学習データ不足なのか?それとも Transformerというアーキテクチャ自体の数学的な限界 なのか?」

    この白黒をつけるため、Ai2チームは275Mパラメータの6モデルをゼロから初期化し、「わずか8回〜256回の変数更新」だけを直接学習させた上で、最大250倍にあたる「64,000回の更新」まで一気に長さを伸ばす極限テスト(Section 5・Figure 3)を行いました。

    比較されたのは以下の計6モデルです。

    ・ ① 純粋なTransformer:位置埋め込みあり(RoPE)と、なし(NoPE)
    ・ ② Gated DeltaNet(GDN):固有値を0〜1に制限した標準型(GDN+)と、負の固有値(-1〜1)まで許して反転・スワップを可能にした拡張型(Flexible memory update: GDN±)
    ・ ③ ハイブリッド:両者を組み合わせた2種(Hybrid+ / Hybrid±)

    画像

    その結果は、AIアーキテクチャの歴史に残るほど劇的なコントラストとなりました。

    ① 純粋なTransformerの限界:レベル4は「学習範囲内」ですら1回も解けない!

    ・ レベル1〜3は学習長を超えると急落
    256回までの学習範囲内は100%解けるものの、256回を超えた瞬間に NoPEは即急落 し、RoPEも約10倍(約2,500回)を超えると崩壊 して64,000回では 14%〜32% に沈みました(理論証明でも、有限精度のSoftmax Transformer $\mathsf{SMAT}_f$ が長さ汎化できるのはレベル1相当までに制限されます)。

    ・ レベル4(変数スワップ)は最初から最後までランダム回答!
    最大の衝撃がここです。TransformerはRoPEもNoPEも、学習データと同じ長さ(8〜256回)のやさしい問題ですらただの1回も習得できず、最初から最後まで正答率13%〜23%(ランダム確率20%)の完全な横ばい でした!
    カリキュラム学習(Figure 8)でも改善せず、固定層数の並列Attentionだけでは長いスワップの連鎖($\mathsf{NC}^1$)を解く回路が原理的に作れないことが実証されました。

    ② Gated DeltaNet & Hybridの圧勝:256回の学習で「64,000回」まで100%一直線!

    ・ レベル1〜3で250倍のパーフェクト汎化
    GDNとHybridは、たった256回までの更新しか見ていないのに、レベル1・2・3のすべてで250倍の「64,000回の更新」まで正答率ほぼ100%の水平線を一直線に維持 しました!

    ・ 先行研究の定説を覆した新定理「Theorem 1」
    先行研究(Grazzi et al., 2025)では「非負の固有値しか持たない標準GDN+は、周期カウント(Soluble)を表現できない」と信じられていました。ところが実験ではGDN+が64,000回まで100%解いてしまったのです!
    解析の結果、「固定小数点演算の丸め(Rounding)と飽和(Saturation)を利用することで、正の固有値だけでも周期的なモジュラ加算を表現できる」 という新定理(Theorem 1)が発見・証明されました。

    ・ 最難関レベル4でも10倍長まで100%維持
    負の固有値を許す拡張型(GDN± / Hybrid±)は、Transformerが手も足も出なかったレベル4を学習範囲内で100%マスターした上、学習長の約10倍(約2,500回のスワップ)までほぼ100%を維持 しました(64,000回でもHybrid±が 47%、GDN±が 41% を維持)。

    ここで、昨日の 『qwenGPU』 の記事とパズルのピースがカチッと繋がります!
    なぜQwen3.5などの次世代モデルが「4層のうち3層をGated DeltaNetにし、1層だけをフルAttentionにする(3:1ハイブリッド)」構造を採用しているのか?
    それは 「過去のピンポイント検索はAttentionに任せ、何万ステップにもわたる『状態の持ち越し・書き換え』はGated DeltaNetという状態マシンに担わせる」 ことで、純粋なTransformerが絶対に越えられない壁を突破するためだったのです!


    5. 今すぐ試せる!Python実験コードと実務で使える「3つの鉄則」


    StateBenchのデータセット(トークン長ごとに11段階に分割)と生成CLIは、Hugging FaceとGitHubで完全公開されており、手元で今すぐ試せます!


    from datasets import load_dataset
    
    # レベル4(periodic = General finite)の整数コード形式・4Kトークン帯をロード
    ds = load_dataset("allenai/state-bench", "integer-code-modular--periodic", split="test__tokens_4k")
    sample = ds[0]
    print("=== プロンプト(抜粋)===\n", sample["prefix"][:400])
    print("=== 正解 ===", sample["completion"], "感度:", sample.get("sensitivity"))

    最後に、今回のStateBenchから得られる 「実務のAI活用・エージェント設計の3つの鉄則」 をまとめます。

    ・ 鉄則①:「最新値の検索(レベル2)」と「累積・入れ替え(レベル3・4)」を明確に分ける!
    議事録から「最終決定した納期」を探すタスク(レベル2)は10万トークン丸投げでOKですが、入出金ログの合算(レベル3)やシフト・在庫枠の連続スワップ(レベル4)をLLMの頭の中だけでやらせると、10Kトークン超で確実に崩壊します。

    ・ 鉄則②:状態の追跡はLLMに暗算させず、Python実行や外部DBへ逃がす!
    レベル3・4の課題はプロンプトで「気をつけて計算して」と祈るのではなく、AIにPythonコードを書かせて実行させるか、ステップごとに外部のJSONやDBへ状態を書き出させるハーネス設計に切り替えましょう。

    ・ 鉄則③:スプレッドシートの文章ログは「構造化コード形式」に変換してから渡す!
    「セルA1の値をB1にコピーしました」という冗長な自然言語ログ(Spreadsheet Cells形式)は正答率を20%まで墜落させます。前処理で B1 <- A1; のような簡潔な代入表現に変換してから渡すだけで、読み取り精度は別次元に跳ね上がります。

    「コンテキスト長100万トークン」というカタログスペックに踊らされる時代は終わり、「どの種類の状態変化を、どのアーキテクチャと外部メモリで追跡させるか」 を設計する最高にエキサイティングな時代がやってきました。ぜひ手元のAIに「5つのカップのシャッフル問題」を出題して、その限界と可能性を体感してみてください!

     
     
    こんにちは、みのまこです🍄 普段はチームでロボットを制作し、主にROS 2を触っています。 趣味はAI・Unity・Blender・Webサイト制作など 新しいものや技術が大好きですぐに試したりしてます。

    あなたへのおすすめ