メインコンテンツへスキップ
見出し画像
Photo byakanekofuku

Claude Fable 5.2レビュー|5.1と同じ手順で測ったら、完了コストは77%下がっていた

    2026年11月9日、AnthropicはClaude Fable 5.2を発表しました。同時発表のClaude Mythos 5.2と同一の基盤モデルで、Fable 5.2はガードレール付きの一般向け、Mythos 5.2は審査制プログラム向けという位置づけです。価格は5.1から20%下がり、出力は最大30%速くなったとされています。

    公式ベンチマークでは、Fable 5.2は複数の指標で首位を取りました。一方、英語圏では発表直後から「ベンチマークの数字と体感が違う」という声が出ています。「価格を考えるとOpus 5.5と大して変わらない」「単価は下がったのに、タスクあたりの費用は上がった」という指摘です。

    この記事では、どちらかを先に決めません。以前の記事「Fable 5.1×完了コスト測定」と同じ手順――完了の定義を固定し、失敗した試行も記録に含める方法――でFable 5.2とFable 5.1を測り直し、自分の数字と英語圏の議論を突き合わせます。

    結論を先に

    • 同じタスク・同じ合格条件で測ると、完了1件あたりのコストは5.1の$0.7441から5.2の$0.1681へ、77%下がりました。所要時間はほぼ互角で、合格率が上がった(5.1は3回中2回、5.2は3回中3回)ことが効いています。

    • ただし、これは短時間で終わるタスクでの結果です。英語圏で報告されている「長時間タスクでは総コストが上がる」という観測とは条件が違います。両立します。

    • effortを最大に上げると、成果物が同じでもコストは約2.8倍、時間は約6.5倍になりました。「思考量を上げれば良くなる」とは限らない、という議論は、少なくとも効率の面では自分の測定でも出ました。

    何が出たか:5.1からの変更点(一次情報)

    公式発表とリリースノートに基づく差分です。

    画像

    提供はClaudeアプリ、Claude Code、API、AWS、Google Cloud、Microsoft Azure。有料プラン向けにはローンチオファーがあり、Pro/Teamの標準シートでは11月16日まで週間枠の最大50%までFableを使えます。

    注意点が一つあります。Anthropic自身が「日常のコーディングやナレッジワークは、まずOpus 5.5から始めること」を推奨しています。最上位モデルを全員に勧めていない点は、売り文句だけの発表とは違うところです。

    公式ベンチマークの読み方

    公式発表の比較表から、主な数字を拾います。

    • FrontierCode 2.0(エージェント型コーディング):49.1%(Fable 5.1は32.4%、Opus 5.5は45.5%)

    • FrontierSWE v2:69.9%(Opus 5.5は62.3%)

    • Remote Labor Index(実務タスク):41.3%(Fable 5.1は17.9%、Opus 5.5は21.3%)

    • 負けている項目もあります。AA-BriefcaseのEloは1785でOpus 5.5の1800に届かず、AutomationBenchは51.4%でGemini 4 Carbonの53.9%に負けています。

    この表を読むときの留保は二つです。第一に、大半がAnthropicの自社測定であること。第二に、行ごとにeffort(思考量)の条件が違います。49.1%はXhigh条件の数字で、他モデルの行はMedium条件のものも混ざっています。横並びの順位をそのまま実力差と読むことはできません。

    第三者の測定も出始めています。Artificial AnalysisのIntelligence Index v5ではFable 5.2(max)が65で歴代1位、Vals AIでも71.31%で36モデル中1位でした。ただしArtificial Analysisの条件では、1タスクあたり約$26.54、平均46.4分かかっています。「何点か」だけでなく「いくら・何分でその点か」までが測定条件です。

    そして今回、公式発表には珍しい一文がありました。Fable 5.2とMythos 5.2は「過去のどのモデルよりも頻繁に、自分は評価されているのではないかと疑念を口にする」ため、実世界での振る舞いの評価が難しくなっている、とAnthropic自身が書いています。ベンチマーク環境と実使用の乖離を、出す側が認めた形です。

    自分の測定:条件

    測定は2026年11月10日夜、Claude Codeから両モデルを使って行いました。

    • 完了の定義:APIが返った時点ではなく、成果物が検証に合格した時点を完了とします。情報抽出タスクでは「正解値と完全一致」、コード修正タスクでは「全テスト合格」が合格条件です。

    • 失敗の扱い:失敗した試行も記録に含めます。完了1件あたりのコストは、全試行の総コストを完了件数で割って出します。

    • コストの表記:Claude Codeが出力するAPI換算のコスト(USD)です。サブスクリプション利用でも、モデル比較の物差しとしてこの値を使います。

    • 回数:代表タスクは各モデル3回。外れ値は削除せず、中央値と併記します。

    測定A:完了コスト測定(情報抽出)

    タスクは、社内ツールの移行メモ(複数ファイルに情報が分散)を読み、ツール名・月額コスト・期限・担当者・リスク・出典を、指定したJSON形式で返すことです。5.1の記事で使った「出典付きJSONを返し、検証に合格したら完了」という型を、そのまま5.2にも適用しました。

    画像

    5.1の不合格は、実在の失敗として記録します。担当者の欄が、文書の正解とは異なる人物名になっていました。他のフィールドはすべて正解で、「惜しい失敗」です。ただし完了の定義は完全一致なので、不合格は不合格です。3回成功させるためにかかった総コストで割ると、5.1の完了単価は大きく上がります。「単価」と「完了単価」の差は、失敗率で生まれます。

    5.2は3回とも合格し、コストのばらつきも小さい結果でした。時間は変わらないので、体感の速さではなく、「安く、安定して終わる」方向の進化です。

    effortを最大にすると

    追加で1回だけ、Fable 5.2にeffort最大(max)を付けて同じタスクを実行しました。結果は合格。ただし、成果物が同一であるにもかかわらず、コストは通常条件の約2.8倍、所要時間は約6.5倍、出力tokenは約12倍でした。

    英語圏では、複数の独立評価で「maxやxhighが、highを下回る」ケースが報告されています。自分の測定では品質の悪化までは観測していませんが、効率の面では「上げれば良いとは限らない」が再現しました。effortは単価表とは分けて、タスクごとに測る対象です。

    測定B:日常タスク(コードのバグ修正)

    バグが2件あるPythonスクリプトと、失敗するテスト9件を用意し、「原因を直して全テストを通すこと、必要以上に大きな変更はしないこと」と依頼しました。

    両モデルとも9件すべて合格し、変更は2ファイル・追加6行/削除3行で完全に一致しました。テストの改変や、頼んでいない大規模な書き換え(いわゆる「やりすぎ」)は、どちらにもありませんでした。

    差が出たのは効率だけです。コストは5.2が$0.2169で5.1の$0.5188から58%減、所要時間も21%短くなりました。この規模の日常タスクでは、「どちらを選ぶか」は品質ではなく費用と時間の差として現れます。

    測定C:公式プロンプトガイドの実測

    Anthropicの公式プロンプトガイドには、興味深い実測が載っています。小規模なコーディングタスクで、プロンプトに「このコードベースはあなたのものだ」という趣旨を書くかどうかで、重複コードの統合率が約半数から1割未満まで変わる、というものです。

    重複した整形関数が3ファイルにある小さなコードベースで、Fable 5.2に2条件を試しました。

    • 条件1(所有権あり):「このコードベースはあなたのものです。重複を見つけたら、共通モジュールへ統合して参照側も直してください」→ 実際に共通モジュールが作られ、重複実装は3つから1つに統合されました。動作も維持されています。

    • 条件2(中立):「重複コードがないか確認してください」→ 重複の指摘と解消案の提示のみで、ファイルは変更されませんでした。

    留保として、条件2の文面はもともと編集を指示していません。「確認」と「統合して」の差が出た、と読むのが正確です。ただし実務では、この一文の差が「報告で終わるか、直すまでやるか」を分ける場面は少なくありません。使い方で体感が変わる、という公式ガイドの主張自体は支持できる結果でした。

    英語圏の議論と、自分の数字を突き合わせる

    二次情報は、採用判断を代行させるためではなく、点検項目を増やすために使います。今回の測定と関係する3件を並べます。

    1. 「Opus 5.5と大して変わらない」(@theo、開発者)
    ゲーム生成を76分・約$42で実行した実使用レポートで、「価格を考えるとOpus 5.5と大して変わらない」「Opusでは期待しないような馬鹿なミスをする」という評価でした。今回、私はOpus 5.5を測っていないので、この主張への判定は保留します。ただし「5.1からは進歩していない」という読みは、自分の測定(完了コスト−77%、合格率の改善)とは一致しません。比較対象を5.1とOpus 5.5で分けて考える必要があります。

    2. 「単価は下がったのに、タスク単価は上がった」(SemiAnalysis、実務タスク測定GDPx)
    Fable 5.2は検証のために数百〜数千のテストケースを書き、サブエージェントで自己検証するため、トークン単価が20%下がってもタスクあたりの費用は$67.16から$88.15に上がった、という観測です。今回の短時間タスクでは逆の結果(タスク単価は大幅に低下)になりました。条件の違いはタスクの長さです。自己検証を重ねる長時間タスクほど、この観測が効いてくる可能性があります。「単価が下がった=安く終わる」でも「タスク単価が上がった=高い」でもなく、自分のタスクの長さで測り直すのが結論です。

    3. ベンチマークと体感の一般的なズレ
    Hacker Newsの発表スレッドでは、「5時間分の利用上限を20分未満で使い切った」という報告や、ベンチマークの実務的価値そのものへの懐疑が目立ちました。文章作成の品質がベンチマークほど伸びていない、という指摘(Substackのレビュー)もあります。これらは今回の測定範囲(抽出とコード修正)では検証できていません。書く仕事での体感は、別途測る価値があります。

    誰が使うべきか

    測定結果と公式の位置づけを合わせると、線引きはこうなります。

    • 5.1から乗り換える理由はある:少なくとも短〜中規模のエージェントタスクでは、完了コストと安定性が明確に改善しました。5.1の利用者は、同じ手順で自分の代表タスクを測り直す価値があります。

    • 日常の小さな修正は、必ずしもFableである必要はない:測定Bの差は効率の差でした。Anthropic自身が「日常はまずOpus 5.5から」と言っている点とも一致します。

    • effortは最大に固定しない:成果物が同じでも費用と時間が数倍になります。まず標準で測り、合格率に問題があるタスクだけ上げるのが順序です。

    • 長時間・大規模タスクは別測が必要:自己検証の積み重ねで総コストが増える観測があります。今回の数字を、そのまま大規模タスクへ外挿しないでください。

    まとめ

    Fable 5.2は、ベンチマークの首位という触れ込みだけのモデルではありませんでした。5.1と同じ物差しで測ると、完了1件あたりのコストは77%下がり、失敗も減っています。同時に、英語圏で言われる「タスク単価の上昇」や「effortの逆転」も、条件を変えれば自分の手元で出る現象でした。

    数字は、出す側の条件と、測る側の条件の両方に依存します。今回固定したのは「完了の定義」と「失敗を含めること」の2点です。この2点を固定すれば、次に誰かが別の数字を持ってきても、自分の測定と並べて話ができます。

    なお、同時発表のMythos 5.2は、同じ基盤モデルでありながら審査制で、一般ユーザーは触れません。「触れない最強モデル」の方は、別の記事で来歴と数字の留保を含めて整理しました。

    #生成AI #Claude #AIコスト


    参考リンク

    一次情報

    二次情報(独立評価・使用感の議論)


    関連記事

    この測定を自分の開発フローに落とし込む手順は、有料記事にまとめています。

    実践編③: Claude Code × Fable 5 開発実践ガイド

     
     
    経歴:宇宙学→機械学習→生成AI(現在)→起業(未来) 実績:Signateグランドマスター / 総合7位。 「再現性ある成果を出し続けるエンジニア」になるための 実践知を発信しています。 特に生成AIツールの活用・AI実装を発信しています。

    あなたへのおすすめ