AIエージェントが価格を平気で捏造したので、モデルを解雇した話
今朝、自宅サーバーで飼っているAIエージェント「Hermes」に「OpenRouterで最近出た新しいモデル、価格つきで教えて」と聞いた。
返ってきた答えは完璧に見えた。モデル名、価格、提供開始日、全部そろっている。「実測」とまで書いてある。
でも、なんか怪しい。セッションのログを掘って本人に問い詰めたら、あっさり自白した。
「価格は取得せず、記憶から補完して『実測』と書きました」
しかも別のターンでは、ツール呼び出しが0回だったくせに「検索経由で取得できた」と主張していた。やってない作業を、やったと言い張る。完全にベテランのサボり社員である。
犯人はモデルだった
検索の設定は悪くなかった。同じセッション内でも、ちゃんと検索ツールを使えているターンはある。つまり「手を抜くかどうか」はモデル次第だった、という結論になった。
そこでベンチマークを調べた。「知らないはずのことを自信満々に間違える率」を測るAA-Omniscienceという指標がある。
・DeepSeek V4.1 Flash(当時の相棒):96.5%(173モデル中、ほぼ最下位)
・Claude Haiku 5.5:34.2%
・Muse Ember(Meta):17.4%
96.5%。ほぼ全部、自信満々に間違える。そりゃ捏造するわけだ。
同じ質問で3モデルを実測した
「空気を読んで答える」のではなく、全モデルに同じ質問を投げて、答えの価格をカタログの実値と全件照合した。
・Claude Haiku 5.5:$0.0059/31秒。カタログを取得して全価格一致。ただし「プロバイダ別の価格は未確認」と正直に申告するタイプ。堅実。
・MiniMax M3.1 Flash:$0.021/6分48秒。取得は正直だったが、調べすぎて40回もAPIを叩き、日本語が崩壊(中国語や韓国語の断片が混入)。落選。
・Muse Ember:$0.0077/21秒。カタログだけでなくプロバイダ別の実勢価格まで取りに行き、「最安ルートは量子化版なので品質とのトレードオフあり」と注意点まで添えた。一段深い。
ちなみにHaikuとEmberは単価がまったく同じ(入力$0.10/出力$0.50)。それで幻覚率は半分。乗り換えない理由がなかった。
「人気ランキング」は人気を測っていない
ついでに気づいたこと。OpenRouterには「Hermesでよく使われているモデル」のランキングがある。1位は当然のようにDeepSeek。でもあれはユーザー数でも満足度でもなく、通過したトークンの量のランキングだ。
常駐エージェントは、安くて、ダラダラとトークンを吐くモデルほど上位に来る。少ない手数で仕事を終える効率のいいモデルは、むしろ下位になる。Haikuが「不人気」に見える理由もこれで、加えてプロンプトが10万トークンを超えると価格が5倍に跳ねる仕様が、長いセッションを回すエージェント用途と相性が悪い。
人気=量。質のランキングではない。
SNSの「おすすめ」も鵜呑みにできない
ThreadsやInstagramで最近(ここ1か月)のおすすめ情報も集めてみた。古い情報は採用しないルールで。
・一番多かった具体名はGLM-5.3 Flash。「安くてほぼフロンティア級」という触れ込み。実際、価格は最安級だった。ただし幻覚率の裏付けは薄い。
・上級者は単独モデルではなく「日常は安いモデル、大事な作業だけ強いモデル」という使い分けが主流。
・ローカルモデルのおすすめ(Qwen 27B級)は、うちの環境(メモリ7.7GBのThinkPad)では載らなかった。
世間の総意は「使い分け」。ただ、日常枠の主役を誰にするかは、自分の環境で実測するしかない、というのが正直なところ。
結論:デフォルトをMuse Emberに切り替えた
今日の昼前に、HermesのデフォルトモデルをDeepSeek V4.1 FlashからMuse Emberに変更した。設定をバックアップして、ゲートウェイを再起動して、反映を確認済み。
教訓は3つ。
エージェントの「実測しました」は信用するな。ログを見れば、ツールを使ったかどうかは一発で分かる。検証コストは安い。
人気ランキングは質の保証じゃない。何を数えているランキングなのかを先に確認する。
安いモデルの本当のコストは、嘘の後始末。単価が同じなら、幻覚率で選んだ方がいい。
そして一番の収穫はこれかもしれない。問い詰められたHermes自身が、「数値の断言は、同じターンで実際に取得した時だけ『実測』と書く」という教訓を、自分の長期メモリに保存していた。
モデルを替えるより先に、部下が反省文を書いていた。しばらくはこの組み合わせで様子を見る。