
一番安いTokenは「送らなかったToken」かもしれない。AIへの入力をAuditする仕組み
今日も興野です。
Claude CodeやCodexのようなAIを長時間使っていると、Tokenの利用量が結構な数字になります。
・Input Token
・Output Token
・Reasoning Token
・Cached Input Token
管理画面やAPIのUsageを見ていると、
いろいろな種類のTokenが出てきます。
特にAIエージェントを長時間動かしていると、
Cached Input Tokenがかなり大きな数字になっていることがあります。
最初は単純に、
「キャッシュが一番Tokenを食っているなら、ここを減らした方がいいのでは?」
と思いました。
ただ、調べてみると、そんな単純な話ではありませんでした。
そして調べていくうちに、むしろ別の疑問が出てきました。
「キャッシュを安くする」より前に、そもそもAIに読ませるTokenを減らせないのか。
今回は、そんな話です。
そもそもTokenとは何か
AIの料金やContextの話をすると必ず出てくるのが「Token」です。
Tokenは、AIが文章を処理するときの単位です。
人間が文章を「単語」や「文章」として読むのに対して、AIは入力された文章を、もう少し細かなTokenという単位に分割して処理します。
Tokenは必ずしも1単語ではありません。
1文字の場合もあれば、単語の一部だったり、単語全体だったり、句読点だったりします。言語やモデル、エンコーディングによっても分割方法は変わります。
例えば、
「この契約書を確認してください」
という文章をAIに送ると、その文字数そのものではなく、一度Tokenに分割されたうえでモデルへ渡されます。
そして現在のAIサービスでは、このToken数が料金やContext Windowの計算単位として使われています。
ただしTokenにもいくつか種類があります。
ここでは分かりやすく、OpenAIのAPIで使われている区分を例に説明します。
Input Token ― AIに渡した情報
一番分かりやすいのがInput Tokenです。
これは、
AIに入力した情報の量
です。
例えば、
「この文章を要約してください」
という指示だけならInput Tokenは少なく済みます。
でも、その後ろに100ページの資料を付ければ、その資料もInput Tokenになります。
さらに実際のAIエージェントでは、単純にユーザーが入力した文章だけではありません。
System Prompt。
過去の会話。
取得したドキュメント。
コード。
Toolの定義。
JSON Schema。
検索結果。
こうした情報もモデルへの入力に含まれます。
OpenAIのResponses APIでは input_tokens、Chat Completionsでは prompt_tokens として記録されます。
つまり、
ユーザーが数文字しか入力していなくても、裏側では数万TokenがInputされている
ということは普通にあります。
AIエージェントを長時間利用するとTokenが増えていく大きな理由の一つです。
Output Token ― AIが生成した情報
Output Tokenは逆です。
AIが生成した情報の量
です。
例えばAIに、
「3000文字の記事を書いて」
と頼めば、当然Output Tokenは多くなります。
逆に、
「YESかNOだけで答えて」
ならOutput Tokenは少なくなります。
OpenAIではResponses APIなら output_tokens、Chat Completionsでは completion_tokens として確認できます。
一般的にOutput TokenはInput Tokenより単価が高く設定されているモデルが多いため、無駄に長い回答を生成させないこともコスト管理では重要です。
ただ、AIエージェントを長時間使っていて私が気になったのは、Outputよりも入力側でした。
Reasoning Token ― 画面には出てこない「考えるためのToken」
少し分かりにくいのがReasoning Tokenです。
推論モデルでは、最終的な回答を生成する前に、内部で問題を考える処理があります。
そのために使われるTokenがReasoning Tokenです。
例えば画面上では、
「答えは42です」
と短く表示されていても、その答えを出すまでに内部でかなりの推論をしている可能性があります。
つまり、
見えている回答の長さと、実際にモデルが使ったToken量は必ずしも一致しません。
OpenAIではReasoning Tokenはユーザーに回答文章として表示されませんが、Output Usageに含まれ、Output Tokenとして課金されます。
そのため、難しい問題を高いReasoning設定で解かせた場合、
画面に表示された回答
= 500 Token
実際には
Reasoning + Answer
= 数千Token
ということもあり得ます。
AIに「考えさせる」ということにもTokenが使われています。
Cached Input Token ― 過去に処理した入力を再利用する
そして今回の話で一番重要なのが、Cached Input Tokenです。
AIとの会話では、毎回すべてが新しい情報になるわけではありません。
例えば、
System Prompt。
長い会社説明。
コード。
過去の会話。
何度も使うドキュメント。
こうした共通部分を毎回ゼロから処理していたら効率が悪い。
そこでPrompt Cachingがあります。
以前処理した入力と同じ部分を再利用できた場合、その部分がCached Input Tokenとして記録されます。
つまりCached Input Tokenは、
新しい種類の情報が追加されたという意味ではなく、Input Tokenの中で「再利用できた部分」
と考えた方が分かりやすいです。
OpenAIもCached Input Tokenを「Prompt Cachingによって再利用された入力Token」と説明しています。
そして重要なのは、Cached Inputは通常のInputより安く設定されていることです。
現在のOpenAIの料金体系でも、Cached Inputは通常Inputとは別の低い単価が設定されています。
なので、
Cached Input Tokenが一番多い = 一番お金が掛かっている
ではありません。
ここは私も最初に数字を見た時に勘違いしかけました。
つまりTokenは、ざっくりこういう流れになる
かなり単純化すると、こんなイメージです。
ユーザー
│
│ Input Token
▼
┌──────────────────┐
│ AI │
│ │
│ Cached Input │ ← 過去の入力を再利用
│ │
│ Reasoning Token │ ← 内部で考える
└────────┬─────────┘
│
│ Output Token
▼
回答
Inputは「読ませたもの」。
Cached Inputは「そのInputのうち再利用できたもの」。
Reasoningは「考えるために使ったもの」。
Outputは「生成したもの」。
この4つを分けて見ると、AIのコスト構造が少し見えやすくなります。
ではキャッシュは減らした方がいいのか
最初はそう思いました。
Cached Input Tokenの数字が非常に大きくなるので、
「ここを削ればいいのでは?」
と。
でも違いました。
Prompt Cacheそのものは、むしろ合理的です。
同じContextを何度も利用するなら、毎回通常Inputとして処理するより安い。
Anthropicでも、Prompt CacheのReadは基本Input価格の0.1倍に設定されています。一方、キャッシュを新しく作るWrite側は5分キャッシュで1.25倍、1時間キャッシュでは2倍です。
Google GeminiでもContext Cachingには通常入力とは別の料金体系があり、一部ではキャッシュを保持する時間に応じたストレージ料金も設定されています。
つまり、
キャッシュは悪者ではありません。
むしろ使った方がいい。
そこで、疑問の方向が変わりました。
「安く読む」の前に、「それ、読む必要ある?」
例えばAIが10万TokenのContextを持って仕事をしているとします。
そのうち8万TokenがPrompt Cacheから再利用されている。
これはかなり効率化されています。
でも、本当に今回必要な情報が3万Tokenだったらどうでしょう。
残り7万Tokenは安く読めている。
でも、
そもそも読ませなくてよかった情報です。
Prompt Cacheは、
同じContextを安く再利用する仕組み
です。
しかし、
そのContextが今回の仕事に本当に必要なのか
までは基本的に判断してくれません。
ここにもう一段、最適化できる余地があるのではないか。
これが今回の仮説です。
AIは、渡されたものをかなり真面目に読む
AIエージェントを長時間動かしているとContextは増えていきます。
過去の会話。
System Prompt。
コード。
検索結果。
Toolの実行結果。
ドキュメント。
作業途中の情報。
1時間前には必要だったけれど、現在の作業にはもう関係ない情報も含まれます。
人間なら、
「今回はこの資料だけ見ればいい」
と自然に絞ります。
でもAIの場合、Contextに入っていれば処理対象になります。
だったら、
大きなLLMへ渡す直前に、そのInputをAuditしたらどうなるのか。
と考えました。
Input TokenをAuditする
今作っているHadano AI Cabinetで、この仕組みを試そうとしています。
考え方は単純です。
LLMへ渡す候補Context
↓
Audit
↓
必要なContextだけ残す
↓
LLM
今回の質問に関係する情報なのか。
同じ情報が重複していないか。
情報が古くなっていないか。
以前取得した結果を再利用できないか。
既に計算済みではないか。
DBを検索するだけで答えられないか。
プログラムで確定できないか。
そもそも大きなLLMを呼ぶ必要があるのか。
そういうものを、LLMの前段で確認します。
全部を公開する段階ではありませんが、目指していることは、
LLMの能力を上げることではなく、LLMに渡す仕事を減らすこと
です。
AuditにもAIを使う
少し変な話ですが、
AIへの入力を減らすためにAIを使います。
ただし、大きなLLMではありません。
比較的小さなモデルを前段に置いて、
「このタスクに本当に必要な情報は何か」
を判断させる方法を考えています。
例えば仮に、
100,000 Token
↓
Audit
↓
30,000 Token
↓
LLM
まで減らせたとします。
もちろんAuditにもTokenは使います。
なので、
Audit用モデルのコスト
+
Audit後のLLMコスト
が、
AuditなしでLLMへ送ったコスト
より小さくならなければ意味がありません。
さらに重要なのは、Tokenだけではありません。
必要な情報まで削ってしまい、回答品質が落ちるなら失敗です。
だから、ここは実測する必要があります。
Audit用モデルはユーザーが選ぶ
Hadano AI Cabinet側で、
「このSLMを使ってください」
と固定するつもりもありません。
会社によって条件が違うからです。
ローカルモデルを使いたい会社。
社内モデルを使いたい会社。
GPUがある会社。
CPUだけで処理したい会社。
速度を優先するケース。
精度を優先するケース。
そのため、
Auditに利用するモデルはユーザーが選択できる
形にしようと考えています。
Cabinet自身が特定モデルに依存するのではなく、ユーザーが指定したモデルを利用してContextを評価する。
そんな構成です。
ただしAIに権限までは渡さない
ここはかなり重要だと思っています。
例えば、
「この文章は今回の質問とは関係が薄そう」
という判断はAIに向いています。
一方、
「この社員は給与データを見る権限がある」
という判断までAIに任せる必要はありません。
そこは普通のプログラムで確定させればいい。
なので、
AIは意味を判断する。
プログラムは権限を決める。
という分け方にしています。
Audit用モデルは候補を出す。
最終的に何をLLMへ渡せるかはCabinet側のルールで決める。
AIの判断そのものをセキュリティルールにはしません。
Cabinet自身にもCacheを持たせる
ここで、もう一種類のCacheが出てきます。
OpenAIやAnthropicなどが提供するPrompt Cacheとは別に、Hadano AI Cabinet自身にもCacheを持たせようとしています。
目的が少し違います。
Prompt Cacheは、
同じContextを安くLLMに読ませる。
Cabinet側のCacheは、
同じ仕事なら、そもそもLLMまで行かせない。
ためのものです。
例えば、あるAIエージェントがGitHubから情報を取得した。
10分後、別のAIエージェントが同じ情報を必要とした。
その情報がまだ新しく、条件も変わっていないなら、
もう一度GitHubへアクセスし、
もう一度LLMへ渡し、
もう一度解釈させる必要はないかもしれません。
一度やった仕事そのものを再利用する。
そんなCacheです。
MemoryとCacheも違う
これを考えているうちに、Hadano AI CabinetではMemoryとCacheを明確に分けた方がいいと思うようになりました。
私の中では、
Memory = 知っていること
です。
会社のルール。
文書。
過去の意思決定。
関係性。
将来も利用する知識です。
一方、
Cache = もう一度やらなくていいこと
です。
APIから取得した結果。
検索結果。
一度作ったContext。
既に終わった計算。
似ていますが、目的が違います。
この違いは、複数のAIエージェントを使うようになると特に重要になると思っています。
Claudeが調べたことを、Codexがまた調べる必要はあるのか
これからは、一人が一つのAIだけを使う世界ではなくなると思っています。
Claude Codeで開発する。
Codexにも別の作業を頼む。
ChatGPTで調査する。
社内Agentが別の仕事をする。
その時に、
Claudeがさっき取得した情報をCodexがまた取得する。
Codexが読んだ資料をChatGPTがまた読む。
別のAgentが同じAPIをまた叩く。
となったら、かなり勿体ない。
モデルが違っても、
一度取得した事実や、一度終えた仕事は共有できるのではないか。
Hadano AI Cabinetでは、その辺りも試しています。
何を測るのか
実装したら、実際に数字を取ってみます。
Audit前のInput Token。
Audit後のInput Token。
Auditそのものが消費したToken。
Cached Input Token。
Reasoning Token。
Output Token。
Cache Hitによって避けられたLLM呼び出し。
外部APIやToolを呼ばずに済んだ回数。
レスポンス時間。
そして実際の費用。
ただ、最も重要なのは、
回答品質が落ちていないか。
です。
Input Tokenを80%減らして回答を間違えるなら意味がありません。
逆に、
回答品質をほぼ維持したままInput Tokenを減らせる。
外部Tool Callも減る。
LLMを呼ぶ回数も減る。
Cached Inputそのものも減る。
という結果になるなら、かなり面白い。
Prompt Cacheとは競合しない
今回調べてみて、ここはかなり整理できました。
Prompt Cacheをやめたいわけではありません。
むしろ使った方がいい。
同じContextを繰り返し利用するのであれば、Cached Inputは通常Inputより安く処理できます。
その上で、
Prompt Cache
=
同じContextを安く読む
に対して、
Hadano AI Cabinet
=
そのContextを本当に読む必要があるか確認する
という役割分担ができるのではないかと考えています。
キャッシュを高速化する。
Cache Hit率を上げる。
という方向とは別に、
キャッシュ対象になるInput Tokenそのものを減らせないか。
という発想です。
Context Windowが大きいから全部入れる、でいいのか
最近のAIモデルは非常に長いContextを扱えるようになりました。
これはもちろん素晴らしいことです。
でも、
読めることと、読む必要があることは別です。
大きなContext Windowがある。
だから全部入れる。
そして全部キャッシュする。
それだけが正解ではないと思っています。
大量の情報を保存できる巨大な倉庫があったとしても、
配送のたびに倉庫の中身を全部トラックへ積む必要はありません。
今回必要な荷物だけ積めばいい。
AIのContextも同じではないか。
というのが今の仮説です。
まだ結論は出ていません
InputをAuditする方が本当に安くなるのか。
小型モデルを一つ挟むことで、逆に遅くならないのか。
Audit自体のToken消費を上回る削減効果が出るのか。
どの程度までContextを削っても回答品質を維持できるのか。
どこまでAIに判断させ、どこからプログラムで処理すべきなのか。
まだ分かりません。
分からないので、Hadano AI Cabinetに実装して測ってみます。
考えているだけでは分からないので、数字を取ります。
そして今のところ、一つだけ仮説があります。
一番安いTokenは、Cached Tokenではない。
そもそも送らなかったTokenなのではないか。
これを試しています。
参考
Tokenの定義については、OpenAI公式の「Understanding and counting tokens」でInput Token、Output Token、Cached Input Token、Reasoning Tokenの区分を確認しています。Reasoning Tokenについても、OpenAIでは表示される回答とは別に内部で利用され、Output Usageに含まれることが明記されています。
Prompt Cacheの料金構造については、OpenAI、Anthropic、Googleの公式情報を参照しました。サービスによってCache Read、Cache Write、Cache Storageの扱いは異なるため、実際のコスト比較では利用するモデルごとの料金体系を確認する必要があります。
#AI #生成AI #LLM #AIエージェント #PromptCaching #トークン削減 #コンテキスト管理 #SLM #RAG #AI開発 #ClaudeCode #Codex #HadanoAICabinet