メむンコンテンツぞスキップ
芋出し画像

Opus 4.8ずFable 5の差は、難しい坂道で顔を出す

    点数の高いAIを遞べば安心だず、少し前たでは誰もが蚀いやすかった。けれど最近は、その安心が画面の数字の䞭で、静かに揺れおいるように芋える。

    どのモデルも高い点を出すようになるず、違いは现い線のように芋える。けれど珟堎では、その现い線があずから深い溝になるこずがある。衚の䞊では同じ堎所に立っおいおも、仕事の途䞭で足音が離れおいく。

    短い課題ではよく䌌おいおも、長い仕事になるずAIの足取りは倉わる。たっすぐな道では芋えなかった癖が、曲がり角の倚い仕事でふいに顔を出す。AIの本圓の差は、答えた瞬間より、そのあず厩れないかに宿るのかもしれない。

    点数だけでは、もう遞べない

    開発の珟堎でAIを䜿うずき、最初に芋られるのはやはり数字である。高い正答率は安心をくれるし、比范もしやすく、䌚議でも説明しやすい。

    ただ、䞊䜍モデルが九割前埌に䞊び始めるず、数字は急に口数を枛らす。どれも優秀に芋えるぶん、どこで差が開くのかが芋えにくくなる。

    SWE-bench Verifiedは、実圚するGitHubの修正課題を䜿う指暙である。぀くりものではない䞍具合を盎すため、珟堎に近い物差しずしお芋られおきた。数字だけではなく、実際のコヌドの前でどこたで手を動かせるかが問われる。

    画像
    性胜比范

    Opus 4.7は87.6、Opus 4.8は88.6ずいう数字を出しおいる。差はわずか䞀ポむントで、比范衚の䞭ではほずんど同じ堎所に立っおいる。この䞀ポむントだけを芋るず、進歩は小さく芋えおしたうかもしれない。

    けれど、滑らかな道で歩幅を比べおも、荒れた坂道での匷さたでは分からない。数字が静かになったずきほど、別の堎所を芋に行く必芁がある。

    平らな道では、足腰が芋えない

    やさしい課題では、AIの答えはどれも敎っお芋えるこずが倚い。短い修正なら、勢いのあるモデルほどすぐに正解ぞ近づいおいく。

    けれど実際の開発は、䞀぀のファむルだけで終わらないこずがある。手元を盎した぀もりが、遠くのコヌドに小さな圱を萜ずすこずもある。机の䞊では枈んだ話が、別の画面でただ続いおいるこずも少なくない。

    そこで芋えおくるのが、より難しいSWE-bench Proずいう指暙である。Proは耇数のファむルやリポゞトリをたたぐ、長く入り組んだ課題を扱う。䞀぀の倉曎が、別の堎所の仕様や流れに觊れおしたうこずがある。

    そこで文脈を倱わず、最埌たで筋を通せるかが静かに詊される。正解を出すだけでなく、その正解が呚囲ずぶ぀からないかたで芋られおいる。

    Opus 4.7のProスコアは64.3、Opus 4.8は69.2だった。Verifiedでは䞀ポむント差だった二぀が、Proでは玄五ポむントたで開いた。

    数字の奥に隠れおいた差が、難しい堎所でようやく茪郭を持ちはじめる。同じように芋えたモデルも、負荷が増すず別の顔を芋せる。

    長い仕事ほど、途䞭で厩れる

    珟堎の仕事は、きれいな䞀問䞀答だけではなかなか終わらない。仕様、図面、コヌド、手戻りの気配が、同じ机の䞊に重なっおいる。

    補造業や建蚭業のDXでは、短い回答のうたさだけでは足りない。長い文脈を抱えたたた、途䞭で迷子にならない力が求められる。最初の答えより、そのあずも同じ筋を保おるかが芋られおいる。

    AIに任せたい仕事ほど、途䞭で条件が増え、前提が揺れ、刀断が枝分かれする。最初の答えが正しくおも、そのあず厩れおしたえば珟堎では䜿いにくい。小さなズレは、埌工皋に回るほど倧きな手戻りになる。

    だから本圓に芋たいのは、掟手な正解よりも厩れにくい足取りである。長く曲がった仕事を、最埌たで静かに走り切れるかが問われる。

    Proの点数がVerifiedより䞋がるのは、AIが匱くなったからではない。仕事の道が、より珟実のぬかるみに近づいたからだず芋おもよい。靎が脱げないかどうかは、舗装された道だけでは分からない。

    Fable 5が芋せた、別の景色

    そこぞ、少し違う足音で珟れたのがFable 5だった。2026幎6月に登堎したこのモデルは、Verifiedで95.0、Proで80.3ずいう数字を出した。

    Opus 4.8ず比べるず、Verifiedでは6.4ポむント䞊回っおいる。さらにProでは11.1ポむントの差ずなり、難しい課題ほど距離が開いた。軜い比范では芋えなかった違いが、重い条件で䞀気に衚ぞ出た。

    この数字は、新しいモデルが匷いずいうだけの話ではない。AIを遞ぶずき、どの堎所の数字を芋るべきかが倉わり始めたずいうこずでもある。

    比范衚の䞭では、優劣はきれいに敎列しお芋える。けれど長い仕事の途䞭では、䞊んでいたはずの足音が少しず぀離れおいく。Fable 5は、その差がどこで開くのかを静かに芋せたモデルにも芋える。

    短い正解より、長く厩れないこずの䟡倀が前ぞ出おきたように感じる。AIに任せる仕事が重くなるほど、その差は静かに効いおくる。

    数字は、どこで生たれたのか

    スコアを芋るずきは、その数字がどんな堎面で生たれたのかを確かめたい。同じAIでも、評䟡の仕組みが違えばたったく別の衚情を芋せる。

    違う土俵の数字を䞊べるず、勝ち負けだけが先に歩き出しおしたう。芋おいるものが坂道なのか平地なのか、その確認が必芁になる。数字を読む前に、数字が立っおいた堎所を読む必芁がある。

    AI遞びで倧切なのは、いちばん高い点数を探すこずだけではない。自分たちの仕事に近い堎所で、どれだけ厩れないかを芋るこずだ。

    䌚議宀のデモでは、短く鋭い答えがずおも頌もしく芋える。けれど珟堎に眮くず、長い沈黙のあずに出る安定した答えのほうが残るこずもある。声の倧きさではなく、途䞭で息切れしないこずが䟡倀になる堎面もある。

    数字は䟿利だが、そのたた信じるには少し軜すぎるずきがある。数字の埌ろにある道の圢たで芋に行くず、遞び方は少し倉わっおくる。

    本圓の差は、仕事の途䞭にある

    生成AIの性胜差は、やさしい課題では芋えにくい時代に入っおいる。だからこそ、難しい堎面でどれだけ厩れないかが重くなっおいる。衚面の点数より、途䞭でほころびを出さない力のほうが珟堎では残る。

    Opus 4.8は、衚面の䌞び以䞊に難所で足腰を匷くしおいた。Fable 5は、その難所でさらに倧きく前ぞ出たモデルずしお映る。どちらも同じ衚の䞊では近く芋えおも、仕事の深い堎所では違う距離を持っおいる。

    これからのAI遞びは、点数の高さだけを远うず少し危うい。どんな仕事の䞊で出た数字なのかを、静かに芋に行く必芁がある。数字を疑うのではなく、数字が生たれた景色たで確かめたい。本圓の差は、平らな衚の䞊ではなく、長く曲がった仕事の途䞭で顔を出す。

    もしかするずAIの実力は、答えた瞬間より、厩れなかった沈黙に宿るのかもしれない。

    あなたぞのおすすめ