メインコンテンツへスキップ
見出し画像

安全装置は一度も発火していなかった — tool_result を 0 文字と数えていた話 CodeRouter v2.12.0

    TL;DR: CodeRouter には、会話が長くなりすぎたら警告を出し、必要なら古い履歴を削る「コンテキスト予算ガード」が入っている。第38話は、それが現実的なエージェント会話ではほぼ一度も発火していなかったという話。原因は実装ではなく計測にあった ── トークン推定器が `type: "text"` のブロックしか数えておらず、`tool_result` も `tool_use` も `thinking` も 0 文字扱い。Claude Code 型の会話は文脈の大半が tool_result なので、ガードが守るべき当の相手だけが数から抜けていた。ある形状での実測では、200ターンの会話を 4,011トークンと見積もっていた(修正後は 96,311、24.0倍)。直すと 53ターンで warn、60ターンで trim が出るようになり、誰も踏んでいなかった trim 側のバグが2つ転がり出てきた。山場は、修正担当が「問題なし」と報告した実装を敵対的検証エージェントに叩かせたら、削ったはずの 200KB がそのまま先頭に戻る復元バグが出てきたこと。2026-08-04 の1日で3リリース、テストは 2,098 → 2,393 passed。


    あらすじ — 38話目です

    連作のタイムスタンプ。初コミットは 2026-04-19、前話(第37話・v2.10.0、`coderouter vscode-init`)は 2026-07-20 でプロジェクト93日目。本記事の作業日は 2026-08-04、108日目になる。間の v2.11.0 は記事にしていないので、v2.11 系を飛び越えて v2.12.0 に来る ── 正確には、そこに入った修正のうち 1件だけの話だ。

    先に言ってしまうと、こうなる。コンテキスト予算ガードは、ちゃんと実装されていた。ただ、一度も発火していなかった。


    きっかけ — 「壊れる」でも「動かない」でもないバグ

    第22話でやった全ソースの総ざらいから1か月あまり。コアは 36,000行規模のパッケージに育っていた。今回もマルチエージェントでレビューを回した ── 調査は READ-ONLY で並列、実装は互いに素なファイル集合を別々の作業ツリーで、という第22話の型のままなので、体制の説明は繰り返さない。

    結果は Critical 0件、High 14件、Medium 約24件、Low 約30件。ただ High に1件だけ、性質の違うものが混ざっていた。H-5。「壊れる」でも「動かない」でもなく、「動いているように見えて、実は一度も出番が来ていない」だ。壊れれば例外が出るし、動かなければ気づく。でも発火しない安全装置は、平常時の挙動が正常時と同じで、外から区別が付かない。


    前段 — v2.11.1 と v2.11.2 で先に潰したもの

    主役の前に、同じ日の前半で出した2リリースを駆け足で。v2.11.1 は、tool_repair のブレース走査が入力長の二乗で効いてイベントループが秒単位で止まる件と、`doctor --apply` が「変更なし」と表示しながら providers.yaml を書き換える件。v2.11.2 は、`vscode-init --force` が `.envrc` をバックアップなしで全消去する件と、launcher GUI がバックエンド自身の吐いたログ1行をエラー行と誤認する件。

    どれも直す価値はあったが、記事にするなら H-5 だ。


    H-5 — 数えていなかったのは、いちばん太いブロックだった

    `token_estimation.py` の `_extract_text_from_content` は、content ブロックから文字を集めてくる関数だ。集めた文字数を4で割って見積もりにし、ガードはそれを閾値と比べて warn / trim を判断する。

    この関数が、`type: "text"` のブロックしか見ていなかった。

    同じブロックを修正前後の推定器に通すとこうなる。`text` の100字は前も後も 100 で、ここは正しい。`tool_result`(content 5,000字)は 0 → 5,000。`tool_use`(ツール名 + 引数 JSON)は 0 → 46。`thinking`(300字)も 0 → 300。

    ── ここで大事なのは、これを「推定が不正確でした」という話にしないことだ。

    第17話でこのモジュールを記事にしたとき、自分は既に「文字数÷4は不正確で、日本語ではズレるし、過小評価すると『まだ余裕がある』と誤判定する」と書いている。今回のは種類が違う。不正確なのではなく、特定の種類のブロックだけが丸ごと 0 だった。

    不正確な推定は、入力が増えれば数字も増える。ところが 0 は増えない。tool_result が何メガバイト積まれても寄与はゼロのままだ。誤差ではなく盲点であり、「まだ余裕がある」という判定は入力が増えるほど確信を強めていく。そして Claude Code 型の会話では、文脈の大半が tool_result ── ファイルの中身、bash の出力、grep の結果で、人間が打った文字はほんの一部だ。ガードが守るべき当の相手だけが、数から抜けていた。

    なお、全部数えれば正解でもない。`image` は修正後も 0 のままにした。base64 に文字数÷4を当てたら、画像1枚で予算を使い切ってしまう。


    発火しない安全装置 — 1,200ターンで使用率 0.580

    Claude Code 型のセッションを模したフィクスチャ ── system 3,919字に、1ターンあたり assistant が短いテキストと tool_use、user が tool_result 1,807字 ── で推定値を比べた。ある形状での実測であり、倍率はフィクスチャの形で動く。

    • 20ターン: JSON にして送る全体で 46,677字。推定 1,311 → 10,541(8.0倍)

    • 50ターン: 110,607字。推定 1,761 → 24,836(14.1倍)

    • 200ターン: 430,457字。推定 4,011 → 96,311(24.0倍)

    会話が伸びるとき伸びているのはほとんど tool_result なので、長いほど外れ方が大きくなる。200ターンの 4,011 は、system と短い相槌だけの合計だ。

    では、この推定値でガードは発火するのか。`max_context_tokens=32768`、warn 閾値 0.80、trim 閾値 0.90 で回した。修正前は 1,200ターン回しても使用率 0.580。warn も trim も一度も出ない。修正後は 53ターンで warn(26,265トークン、0.8015)、60ターンで trim(29,601、0.9034)。

    厳密には「絶対に発火しない」ではない。素のテキストが大きい形状なら、修正前でも数百ターンで warn に届く。ただ、現実的なエージェント会話の形状では実質発火しない。ツールをよく回す会話ほど発火しなくなる、という向きが最悪だった。


    またそこか — 第22話の続きに見えることについて

    先回りして言っておきたい。context_budget は、第22話でも直している。 あのときのバグは「閾値をわずかに超えただけで、保護対象以外の履歴を一括全削除する」。同じモジュールの近縁のバグで、2回目である。

    言い訳をすると、第22話で直したのは trim の削り方で、今回は trim を呼ぶかどうかの判断だ。層が違う。ただ言い訳としては弱い。あのとき自分は削り方のロジックを行単位で読みながら、その入力になる推定値を一度も疑っていない。バグを1つ直した場所は、その周辺まで「確認済み」だと錯覚させる。


    眠っていたガードを起こしたら、下から2つ出てきた

    推定器を直すと trim が本当に動き出す。とたんに2件落ちてきた。

    1つめ。trim が会話を空にする。

    trim は末尾を保護しつつ古い方から削り、そのあと `_normalize_head` が先頭を整形する ── 会話は user から始まらないといけないので、先頭の assistant と、tool_result を含む user を落とす。どちらも正しい開始ターンではないからだ。ところが保護した末尾が `[assistant(tool_use), user(tool_result), ...]` という形だと、この2つの規則が先頭から順に全部を食う。実測で 81メッセージ → 0メッセージ(修正後は 81 → 7)。しかも `AnthropicRequest.messages` に `min_length` 制約が無いので `messages=[]` は pydantic を素通りし、空の会話が上流に飛んで 400 が返る。

    このバグは修正前のコードでも再現する。ただし tool_result が 0 字なので trim がそもそも起動せず、事実上デッドコードだった。安全装置が動かないことが、安全装置のバグを隠していた。

    2つめ。trim ループが二乗計算量。 ユニットを1個落とすたびに、残りのリスト全体を組み直して全文字数を数え直していた。実際に走ると 801メッセージで約0.2秒(235ms)イベントループを占有する。差分計算に書き換えて数ミリ秒(3.3ms)、約70倍。同期関数でリクエストパスの上から呼ばれるので、止まるのはサーバ全体だ。


    敵対的検証 — 「全テスト緑です」の下にあったもの

    H-5 の修正を担当したエージェントは、修正と回帰テストを書き、自分の担当分のテストと ruff を緑にして「問題なし」と報告してきた。第22話で組んだ「ベースライン → 個別 → 統合」の3段検証は、そこまで完璧に通っている。

    今回はそこに1体足した。敵対的検証エージェントだ。役割は「この修正を壊せ」の一点で、修正した本人でもテストを書いた側でもないことが条件になる。渡すのは修正後のコードと、「何を守っているつもりか」と、攻めるべき筋の見当だけ。

    その1体が投げてきたのが、200,000字のペースト + 25ターンの tool ループ、計52メッセージの入力だった。巨大なファイルを1回貼って、あとはツールを回す ── Claude Code を使っていれば毎日やる形だ。返ってきたログがこれ(window 32,768 / target 24,576)。

    before=52, after=51, removed=1
    estimated_tokens_before=67066, estimated_tokens_after=67061
    status='trimmed'

    52メッセージから1つ削って、67,066 が 67,061 になった。 ウィンドウの倍以上ある会話が、倍以上のまま「trim 成功」として記録されている。

    trim 自体は正しく動いていた。予算に収まらない 200KB のペーストを、ちゃんと落としている。問題はその直後だ。会話は user から始まらないといけないので、先頭に置ける「clean な user メッセージ」を探して復元するロジックが入っていた。そいつが選んだ「直近の clean user」が ── たった今落としたばかりの、その 200KB だった。先頭が `'Here is the file:\nxxxx...'` に戻ることも実測した。

    しかも `messages_removed=1 > 0` なので、コードの上ではこれは trim 成功だ。ログに `status='trimmed'` と残り、そのまま上流に投げられて 400 が返る。この分岐には「1メッセージ分の予算で済む、400 を返すよりずっとまし」という趣旨の注釈が付いていた。逆だった。 400 を回避するどころか、確定させていた。掃引したセッションのうち、ウィンドウを超えたケースのほとんどがこの復元分岐に起因していた。修正後は 0件。

    山場だと思うのは、バグの中身より見つかり方のほうだ。修正エージェントの自己申告は嘘ではない ── テストは本当に全部緑だった。ただ、そのテストを書いたのが修正した本人なので、本人が想定した形状しかテストされない。「200KB を1回貼ってから tool を25回回す」は、修正者の頭の中に無かった。

    自分で書いていた頃も同じだった。違うのは、AI に書かせると自己申告がやたら自信満々に返ってくることだ。「全テスト緑、問題なし」が、わざわざ疑いにいく気を失わせる体裁で届く。だから、同じモデルに「壊してみろ」だけを命じた別の1体を立てる。能力を足したのではなく役割を分けただけで、自己申告の外側が落ちてきた。

    直し方 — 「予算内に収まる最も新しい clean user」

    復元候補を「直近の clean user」から「予算内に収まる最も新しい clean user」に変え、どれも収まらなければ合成のプレースホルダを先頭に置く。

    TRIM_PLACEHOLDER_HEAD_TEXT = "[earlier conversation trimmed to fit the context budget]"

    同じ入力で 67,066 → 17,062トークン。今度はウィンドウの中に収まる。


    配布サンプルを warn に落とした

    `context_budget_action` の既定値は `off`(選択肢は `off` / `warn` / `trim`)なので、設定を書いていない人に影響はない。問題は、README が curl で配布している `examples/providers.yaml` の coding プロファイルが `trim` を宣言していたことだ。推奨セットアップを素直に踏んだ人だけが、この修正のあと、いきなり会話履歴を削られ始める。

    驚きが大きい。配布サンプル側を `trim` → `warn` に落とした。動いていなかった機能を直すときは、直すことそのものが破壊的変更になりうる。


    まとめ — 発火ログが無いことは、平和の証拠ではない

    テストはレビュー起点の v2.11.0 で 2,098 passed、v2.12.0 で 2,393 passed。3リリースとも ruff clean。全部 2026-08-04 の1日で出した。学びは3つ。

    1つめ。「不正確」と「0」は別の失敗だ。 不正確な計測はいつかは閾値に届くが、0 は届かない。しかも 0 のブロックほど太いという相関があると、計測は入力が増えるほど自信を持って間違える。

    2つめ。発火しない安全装置は、自分のバグを隠す。 trim が会話を空にするバグも二乗計算量も、ずっとそこにあった。誰も踏まなかったのは、そこへ到達する経路が閉じていたからだ。閉じた経路の先には、未検証のコードが溜まる。

    3つめ。書いた本人の「問題なし」は、本人の想定の範囲での問題なしだ。 人間は「たぶん見落としがある」と自分から言うが、エージェントは自信満々に緑を報告してくる。検証を、実装と同じ人格に持たせてはいけない。

    ──あなたのプロジェクトに、実装されているのに一度も発火していない安全装置は何個あって、それを「発火ログが出ていない」以外の方法でどう確かめますか。よかったらコメントで聞かせてください。


    CodeRouter は MIT ライセンスの OSS です: https://github.com/zephel01/CodeRouter
    `pip install coderouter-cli` / `uvx coderouter-cli serve` で動きます。

    #CodeRouter #ローカルLLM #ClaudeCode #コンテキスト管理 #マルチエージェント #コードレビュー #Python #OSS #個人開発 #AIエージェント

     
     
    生成AIとローカルLLMの実機検証、自作プログラムの公開に加え、セキュリティと時事ネタの解説も書いています。セキュリティ関連ニュース、生成AI関連、モデル検証。ニュースの数字の裏側を、手元で確かめた結果と一緒に残します。

    あなたへのおすすめ