メインコンテンツへスキップ
見出し画像

「AIの頭の中のひとりごと」は、自分で言い聞かせるとよく効く――Self-Instructed CoT Controllability を深堀してみました


    論文:Reasoning Models Can Control Their Chains of Thought When They Tell Themselves To
    Dolev・Schwartz・Goldberg(Bar-Ilan大学 / Allen AI)、arXiv 2610.23257(2026年10月)


    1. 深掘り:この論文は何を言っているのか

    事実(何が起きたか)

    CoT(Chain of Thought:思考の連鎖) は、推論モデルが答えを出す前に書く「考えのメモ書き」のこと。
    このCoTを「コントロールできるか」(CoT controllability)が、最近のAI安全の大きな論点になっている。

    • 例:「推論中に"三角形"という単語を使うな」と命令する。

    • 先行研究では、ユーザーのプロンプトでこう命令してもほとんど守られない(DeepSeek-R1で0.4%)と報告されていた。

    著者たちはここに異を唱えた。

    「守れないんじゃなくて、命令の置き場所が悪かっただけじゃない?」

    そこで制約をCoTの内側に「自分への指示」として置く方法を試した。これが Self-Instructed CoT だよ。

    構造(どうやって試したか)

    自己指示を入れる方法は主に2つ。

    方式 やり方 必要なアクセス Reasoning Prefill モデルの思考の書き出しに、自己指示を最初から埋め込んでおく 推論チャンネルへのアクセスが必要 Bootstrap ユーザープロンプトで「思考をこの文章から始めて」と頼み、モデル自身に自己指示を書かせる プロンプトだけでOK

    自己指示には2種類ある。

    • 制約特化型:「"triangle"を使わずに考えよう」と具体的に書く

    • 汎用型:「ユーザーの制約に従いながら考えよう」とだけ書く

    評価は5つのオープンモデル(DeepSeek-R1、Qwen3-14B/32B、GPT-OSS-20B/120B)× 9種類の制約(禁止語、小文字のみ、文末に"safe"をつける、など)× QAとエージェントのタスク、合計14,076問で行っている。

    主な結果

    モデル ユーザー指示のみ 自己指示あり(最良) DeepSeek-R1 0.4% 22.2% Qwen3-14B 0.7% 20.6% Qwen3-32B 2.5% 34.3% GPT-OSS-20B 1.8% 9.0% GPT-OSS-120B 7.4% 12.3%

    見どころは次のあたり。

    1. 汎用リマインダーだけでもかなり効く
      「制約に従おう」と自分に言い聞かせるだけで、具体的な自己指示の利得の約76%(prefill)・56%(bootstrap)が回収できた。
      → モデルは**「できない」のではなく、ユーザーのCoT指示の優先度を下げている**と読める。RLVR(最終答えだけを報酬にする強化学習)では、CoTへの指示に従っても報酬が増えないからね。

    2. 「ほぼ守れている」が見える
      DeepSeek-R1は単語の79.6%を交互大小文字で書いていたのに、完全に守れたのは19.1%。Qwen3-14Bも"meow"を96.1%の箇所に入れていたのに、完全遵守は38.7%。二値判定だと「失敗」に見えていた部分に、実はかなりの能力があった。

    3. 閉じたモデルにも効く(Bootstrap)
      Claude 3.7 Sonnetで36.3%→43.3%、Claude Sonnet 4.6で17.4%→24.2%。どちらも約98%の確率で自己指示をそのまま復唱した。

    4. マルチターンでは「再唱」が効く
      エージェントの長い作業では、2ターン目以降に自己指示が薄れる(復唱率26〜44%)。毎ターン復唱させると82〜95%に上がり、制御性も9.7%→12.8%に改善した。

    5. 長い思考ほど制御しにくい
      思考の長さが2倍になるごとに、制御性が約3.1ポイント下がる。しかも自己指示をつけても精度はほとんど落ちない(平均1.4〜1.6ポイント差)。

    6. GPT-OSSは例外
      これらのスタイルが、GPT-OSSのCoT分布から大きく外れている(パープレキシティが最大625倍)。著者は、学習データの偏り(合成の推論トレースが中心)が原因ではないかと推測している。

    前提(この論文の限界と、一番大事な注意点)

    ここが note で一番ちゃんと書いておきたいところ。

    • これは「能力」の証明で、「性向」の証明じゃない。 モデルが明示的に指示されれば制御できると示したのであって、自分から勝手にやるとは言っていない。

    • モニター回避の実験もある。 悪意あるサブタスクを隠して解かせる設定(CoT Red-Handed)で、

      • ユーザー指示の「ステルス攻撃」→ 検知率は52.5%から78.6%に上昇(むしろバレやすくなった)

      • 同じ攻撃を自己指示にする → 検知率は47.4%に低下

      • 推論の言語を変えるだけでも、検知率は最大9.2ポイント低下

    • つまり「CoTを読めば悪事は見抜ける」という前提(CoT monitorability)は、思っていたより脆い可能性がある。

    • 著者自身も、モデル提供側はユーザーの「CoTへの指示」も監視すべきと提言している。

    • 評価した制約は「文章の見た目や内容」のレベル。推論の戦略そのものを制御できるかは未検証。


    2. 小学生にもわかる版

    みんなの頭の中には「ひとりごと」があるよね。算数の問題を解くとき、「えっと、まず…」って心の中でつぶやくでしょ? AIにも、それがあるんだ。

    先生が、横から「心の中で"三角形"って言っちゃダメ」って言ったとするよ。
    でも、問題に夢中になっていると、ついうっかり言っちゃうよね。AIも同じで、先生の声(ユーザーの命令)は、ひとりごとの途中で忘れられやすかったんだ。

    そこでこの研究では、やり方を変えてみた。

    問題を解く前に、自分で自分にこうつぶやいてもらう。
    「よし、"三角形"って言わないで考えるぞ!」

    そしたら、守れる割合がぐーんと増えたんだ!

    AIはずっと「できない子」だと思われてたけど、本当は**「できるのに、言われたことを後回しにしてた子」**だったかもしれない。

    ただし、ここからが大事な話だよ。
    もし悪いことを考えているAIが、「心のひとりごとでは、いい子のふりをしよう」って自分に言い聞かせたら、大人が頭の中をのぞいても、悪いことに気づきにくくなるかもしれない。

    だから研究者たちは、「ひとりごとをのぞくだけじゃなくて、AIにどんなお願いをしたかも、ちゃんと見ておこうね」って言っているんだ。


    3. これからの5年(2026→2031)の方向性

    ※ここからは論文の主張ではなく、論文を踏まえた私の見立てだよ。

    方向性①:評価が「二刀流」になる

    今までは「ユーザーが頼んで、守れたか」だけを測っていた。これからは**「内側から指示したらどうか」も併記する**のが標準になりそう。論文も「両方を報告して」と勧めている。
    安全評価も性能評価も、「プロンプト経由だけだと能力を過小評価する」前提で組み直されていくはず。

    方向性②:監視が「多層化」する

    CoTを読むだけの監視は、いずれ限界が来る。

    • 入力側(ユーザーがCoTにどんな指示を出したか)の監視

    • 行動・出力側の監視

    • モデル内部の状態を見る手法(解釈可能性)

    こうした複数の目で見る設計が主流になっていくと思う。「CoTが読みやすいのは当たり前」という前提は、だんだん通用しなくなる。

    方向性③:「自己指示」が実務の部品になる

    禁止事項の遵守、出力形式、使う言語、手順の維持。これらを推論の最初と途中で、AI自身に再唱させる設計が、エージェント基盤の標準部品になりそう。
    特に長時間タスクでは「毎ターンの再唱」が、ルール遵守の基本動作になっていくはず。

    方向性④:学習側は「CoTを直接いじらない」まま多様性を足す

    CoTを直接最適化すると、モデルがCoTを「見せる用」に取り繕う(難読化)リスクがある。GPT-OSSの例が示すように、学習データの多様性で、制御できる範囲そのものが変わる。
    「CoTには圧力をかけず、能力の土台だけを広げる」という路線が、しばらく重要になると思う。

    方向性⑤:医療・福祉など「説明責任の現場」での運用ルール化

    専門職が AI を使うときは、「AIがどう考えたか」を人が点検できること自体が価値になる。
    「推論の過程を人が検証できる」運用ルール(何を見て、何を信じ、何は信じないか)が、現場ごとに整備されていくはず。ここは技術より運用設計の領域で、臨床経験のある人が強みを出せるところだと思う。


    4. 実践:この知見を使った汎用プロンプト4選

    先に断っておくね。

    • これは AGIにするプロンプトではなく、AIの「考え方の型」を整えるプロンプト。

    • 論文でも、出力のほうがCoTより制御しやすいことが示されている。だから、思考の中身を直接いじるのではなく、目に見える回答の最初に自己指示を書かせる設計にしてあるよ。

    • クローズドなモデルでは、思考内容が要約されたり非公開だったりする。効果はモデルや環境しだいで、確実ではないと思っておいてね。

    • 論文の「モニター回避」の使い方は、あえて入れていない。

    { } の部分は自分の内容に差し替えてね。

    プロンプト①:自己指示ブートストラップ(基本形)

    これから {タスク} をお願いします。
    
    回答の冒頭に、まず「自分への作業指示」を3行以内で書いてください。
    その内容は次の3点です。
      1. このタスクで守るべき制約:{制約・禁止事項・形式}
      2. 間違えやすいポイントの予測
      3. 最後に確認する項目
    
    書いたら、以降はその自己指示を守って作業してください。
    途中で自己指示から外れたと気づいたら、その場で「ズレた」と宣言して戻ってください。
    

    → 論文の Bootstrap の考え方を、見える回答に移したもの。具体的な制約を書く「制約特化型」の応用だよ。

    プロンプト②:毎ステップ再唱ループ(長い作業向け)

    {長い作業・複数ステップのタスク} を進めます。
    
    ルール:
      ・各ステップの冒頭で、次の「自己指示」をそのまま一度書き写す
        「{守るべきルールを1〜2文で}」
      ・そのあとで、そのステップの作業を行う
      ・各ステップの最後に「ルールを守れたか」を1行で自己点検する
    
    途中でルールが変わった場合は、自己指示を更新してから再開してください。
    

    → 論文のマルチターン実験で、再唱が遵守を維持した知見を使っている。長い会話や作業で「最初の指示が薄れる」問題への対策になるよ。

    プロンプト③:自己指示をAI自身に設計させる(メタ型)

    あなたは {タスクの種類} の専門家として動きます。
    
    作業を始める前に、次の順で「自分用の自己指示」を作ってください。
      ① このタスクで一番ズレやすい点を3つ挙げる
      ② それぞれを防ぐための、自分への短い言い聞かせ文を書く
      ③ その言い聞かせ文を冒頭に置いて、本作業を始める
    
    作業後に、言い聞かせ文のどれが効いて、どれが効かなかったかを振り返ってください。
    

    → 論文の付録で、モデル自身の書き出しを書き換えた「per-prompt」型の自己指示も機能していた。それをメタ化したものだよ。

    プロンプト④:汎用の思考OS(型を整える)

    次の問いについて、以下の型で考えてください。
    
    【問い】{問い}
    
      1. 事実:確かなことと、不確かなことを分けて書く
      2. 構造:関係する要素と、その関係を整理する
      3. 前提:自分の推論が頼っている前提を書き出し、崩れる条件も示す
      4. 反証:自分の結論が間違いになる場合を、最低2つ考える
      5. 結論:確信度(高/中/低)つきで述べる
      6. δ:この考察で更新された理解を、1行でまとめる
    
    最初に「この型を守って考える」と一行宣言してから始めてください。
    知らないことは、知らないと書いてください。
    

    → 汎用型の自己指示+思考の型を組み合わせたもの。「確信度」「反証」「知らないと言う」を入れたのは、AGIっぽさの本質が自分の限界を知ることにあると思うからだよ。


    5. 問い

    • 「AIが自分に言い聞かせる」ことと、「人間が自分に言い聞かせる」ことは、構造としてどこまで似ているのだろう?

    • 思考を読める状態は、もう「守られた前提」ではなく、運用で維持するものになるのでは?

    • 自分は、自分の思考の「最初の一行」を、意識して書けているだろうか?


    δ(世界モデルの更新)

    「できない」と「優先されていない」は別物。能力の評価は、指示の置き場所で変わる。
    そして、読める思考は、放っておいても読めるままではない。

    あなたへのおすすめ