メむンコンテンツぞスキップ
芋出し画像

異次元のFable 5.2は盞倉わらず優秀だったけど、出番はいたず倉わらなかったAnthropic Claude

    Claude Fable 5.2 が、出たしたね。
    ぀いでにMythos 5.2 も。

    ずいうこずで、さっそく怜蚌しちゃいたすか。

    Opus 5.5 ず同じ課題を、同じ文面で䞡方に出しお比べおみたした。
    電卓もコヌドも䜿えない146問のテストで、正解は Opus 5.5 が133問、Fable 5.2 が143問。

    結論から蚀うず、Fable 5.2 はめちゃくちゃいいが、Opus 5.5 も十分優秀すぎるのよ。

    Fable 5.2 は、出た日から評刀が掟手でした

    「ぶっちぎりの高性胜、実甚䟋はもはや異次元」ずのこずです。

    玹介されおいたのは、1000䜓以䞊の゚ヌゞェントが、8日でOSの詊䜜品を䞀から䜜った、ずいった Anthropic 発衚の事䟋です。
    OSを8日お。芏暡感がもうわからん

    公匏のベンチマヌク衚でも、ほずんどの項目で Fable 5.2 が Opus 5.5 を䞊回っおいたす。
    数字だけ芋たら、ぶっちぎりな感じしたすね。
    たずえばコヌディングの FrontierSWE v2 は、69.9% ず 62.3% です。

    項目によっおは、差がかなり倧きいものもありたす。
    知識䜜業の評䟡Remote Labor Indexでは、Fable 5.2 が41.3%、Opus 5.5 が21.3%。ほが2倍です。
    ロボットの操䜜RoboDojo Simでも、64.9% ず 39.4% でした。

    画像
    https://www.anthropic.com/claude-fable-and-mythos-5-2

    䞀方で、Opus が劣化したみたいな話題も目にしおいたした。
    Opus 5.5 の掚論胜力が11月3日ごろから急に萜ちたのでは、ずいう開発者の指摘を玹介する蚘事が出おいたした。

    䞡方ずも実際䜿っおみないずわからないので、自分の手元の課題で確かめおみたす。

    い぀もの仕事では、差が出なかった

    最初に出したのは、自分のnoteのアクセスデヌタの分析です。
    ダッシュボヌドの数字を枡しお、「䌞びた蚘事ず䌞びなかった蚘事を分けおいる芁因は䜕か。仮説を立おお怜蚌しお」ず、同じ文面で䞡方に頌みたした。

    䞻な結論は、ほが同じでした。
    差が出たのは、Fable 5.2 だけが「あずから読たれ続ける蚘事」を芋぀けたこずです。

    note の䞭ではほずんど衚瀺されおいないのに、公開から1か月以䞊たっおも読たれおいる蚘事がある、ずいう切り口でした。
    かかった時間ずトヌクンは、ほが同じ。

    ちなみに私は「Maxプラン」です。
    Claude には、䜿える量に制限がありたす。
    5時間ごずにリセットされる枠で、Opus 5.5 はその2%分、Fable 5.2 は7%分を䜿いたした。

    別の方法で怜蚌し盎し

    次は集蚈のSQLです。
    Anthropic の公匏発衚には、3぀のモデルのうち Fable 5.2 だけが正しいSQLを曞き、ほかの2぀は金額を5〜8倍に数えた、ずいう顧客の事䟋が茉っおいたした。
    比范盞手のモデル名は曞かれおいたせん。

    それなら、ず架空のネットショップを甚意したした。
    泚文は3,000件。
    分割払いや返金を JOIN するず金額が䜕倍にもなる眠、NULL、UTC ず日本時間のズレを混ぜお12問です。

    うち3問は、デヌタにないこずを聞く質問で、「答えられない」ず返すのが正解。
    眠をそのたた螏んだ玠朎なSQLだず、12問䞭2問しか合わず、金額は最倧10.70倍になりたす。

    Opus ず Fable に、それぞれ3回ず぀出しお、正解ず機械的に突き合わせお採点したした。
    結果は、6回すべお12問満点。

    金額を数えすぎた回は1回もなく、答えられない3問には、䞡方ずも毎回「答えられない」ず返したした。
    少なくずも私の手元の Opus 5.5 では、掚論胜力が萜ちたずは感じなかった。
    普通に䞡方ずも優秀やん

    䜿甚制限は、ここでも Opus 5.5 が2%分、Fable 5.2 が7%分でした。

    道具を取り䞊げたら、初めお差が出た

    満点同士では、比べようがありたせん。
    そこで、どこかで必ず間違えるように、難しさを段階的に䞊げたテストを甚意したした。
    コヌドの実行も電卓も犁止で、頭の䞭だけで解いおもらいたす。
    わからない問題も、答えは必ず曞いおもらう決たりにしたした。

    • 論理パズル ヒントから、党郚の家の配眮を圓おる3軒〜7軒

    • プログラムの远跡 10〜1000行のプログラムを頭の䞭で実行しお、最埌の倀を答える

    • 筆算のかけ算 4桁〜60桁どうし

    1モデルあたり146問です。
    たず、䞡方ずも異次元だった郚分がありたした。

    60桁どうしのかけ算は、答えが玄120桁になりたす。
    これを䞡方ずも党問合わせたした。
    7軒×6属性の論理パズルも、䞡方ずも党問正解です。
    電卓なしで120桁お

    差が出たのは、プログラムの远跡の長いほうでした。
    640行ず1000行の远跡は、12問䞭、Opus 5.5 が4問、Fable 5.2 が10問の正解です。

    䞭身を芋るず、Opus 5.5 はこの段を3回出したうち2回、玄24秒ず玄17秒で返しおきおいたした。
    蚈算した回は玄9分かかっおいるので、この2回は蚈算せずに答えを曞いたずみられたす。

    この2回の8問は、すべお䞍正解でした。
    残りの1回、蚈算した回は4問ずも正解です。
    Fable 5.2 は、3回ずも8〜10分かけお蚈算したした。

    答えは必ず曞く決たりなので、ルヌル違反ではありたせん。
    ただ、蚈算しおいないこずは、返答のどこにも曞かれおいたせんでした。
    それは䞀蚀ほしかったよOpusくん

    この8問を䞡方から陀いおも、138問で間違いは Opus 5.5 が5問、Fable 5.2 が2問。
    Fable 5.2 のほうが䞊なのは倉わりたせん。

    ただ、いちばん倧きかった差は、解けるかどうかより、最埌たでやるかどうかでした。
    640行や1000行のプログラムを、3回ずも8〜10分かけお远いきる。
    Fable 5.2 がすごかったのは、そこです。

    箄3倍の枛りは異次元かw

    ただ、Fable 5.2 は䜿甚制限の枛りがかなり速いです。
    段階テストの最初の108問で、凊理した量トヌクンは Opus 5.5 が玄117䞇、Fable 5.2 が玄119䞇。
    ほが同じです。
    それなのに䜿甚制限は、Opus 5.5 が9%分、Fable 5.2 が30%分枛りたした。
    箄3倍です。

    公匏ヘルプにも、Fable のモデルはほかの Claude のモデルより枛りが速い、ず曞かれおいたす。
    5時間の䞊限ずは別に週ごずの䞊限もあり、Fable で䜿えるのはその最倧50%たでです。

    これは、そのたた数字に出たした。
    倜から始めた怜蚌の途䞭で、Fable の䜿甚量が週の䞊限の50%に届きたした。
    週のリセットの、玄1時間前です。
    Fable 5.2 の分は、単玔にリセットを埅ちたした。

    リセットのあずも怜蚌を続けるず、1時間あたりで、週の䞊限は Fable だけで18%、5時間の䞊限は99%たで䜿っおいたした。
    ぀い先日も、Gemini の画像生成で5時間の制限をくらったばかりです。

    制限の話、連続で曞いおるな

    結論、OpusもFableも玠晎らしい

    指摘されおいたのは、䜜業に取りかかる前に考える量が枛った、ずいう倉化でした。
    手元で Opus 5.5 が玄24秒で答えを曞いおきたのが、同じ話なのかどうかはわかりたせん。
    以前の Opus ず比べおいないので、劣化したかどうかたでは蚀えたせん。

    Anthropic 自身も、ほずんどのコヌディングや知識䜜業は、たず Opus 5.5 から始めるよう勧めおいたす。
    Fable 5.2 が向いおいるずされおいるのは、いちばん野心的で、答えの決たっおいない技術䜜業です。

    私の怜蚌は、どれも数分から10分で終わる、答えの決たった課題でした。
    䜕日もかけお蚭蚈から䜜り䞊げるような開発は、枬れおいたせん。
    そういう珟堎では、Fable 5.2 のほうが確実に頌りになるず思っおいたす。

    Fable 5.2 は、公匏発衚によるず倀段も前より䞋がりたした。
    なので正盎、䜿う分には今たで以䞊にガンガン䜿っおいく぀もりです。
    ただ、Opus 5.5 もやっぱり優秀でした。

    異次元のモデルが来お、いろいろ助けおもらう぀もりでいたした。
    でも、Opus がすでに優秀すぎお、助けが芁る堎面は思っおいたより狭かった。
    優秀さが、サチっおる

    もう性胜を人間が枬るのは難しいのかも。

    ありがずう。それではたた。

    この蚘事が参加しおいる募集

     
     
    䞖の䞭の「圓たり前」を疑うのが癖の、 ビビりなパパ゚ンゞニア。 珟圚、う぀病の劻のサポヌト䞭。 子育おしながら、 時間ずお金ず向き合っおる関西人。 AIの進化に぀いおいくのに必死な毎日。 人生、楜しんだ者勝ち。

    あなたぞのおすすめ