メインコンテンツへスキップ
見出し画像

ChatGPT4.5は "目が悪い" ?!

    どうみても煽りタイトルで申し訳ないが、本当にそうとしかいいようがないハプニングが自分環境で起こったので、取り急ぎ報告記事です。


    前提の話

    GPT4.5は『4oの後継』という扱いで、ほんの数日前にplus契約ユーザーでも使用可能になりました(正式には、研究プレビュー版というやつ)。「全体的に性能良くなったし、より感情の機微に強くなったよ!」的なのが公式の触れ込み、のはず(気になる人は自力で調べてください)。

    ただし同時にこれは『推論モデル』の系譜にはないということで、それこそ昨年末のo1公開時の「頭が良くなった!」という分かりやすさからすると、格段に地味なのは否めない。
    この2025年3月8日においては、「ぶっちゃけ既存モデルとの違いが分からない……」が『4.5の初期評価』で、なんら間違いないでしょう。


    実験の動機

    しかし、僕が観測する限りの世間の "4.5性能実験" というのは『問題を解かせる』とか『お題を出して記事執筆』とか、どうしてもプロンプト一発勝負的に見えたのは、やはり気になりました。

    「GPTコミュニケーター」など標榜して連続的会話プロンプトの良さみを主張してる自分としては、ぜひそういう方面での対応力を見てみたく思いました。
    加えて、これまた独自手法としてモノローグ・インストという代物がありまして、せっかくなら4.5におけるその挙動もチェックしたい。

    と言うことで具体的には、
    ・「プロジェクト機能」活用(通常版仕様だと、モノローグ・インストの設定長文が収まらないので)
    ・「指示」欄に『GPTアヴドーチャ』のインストラクションをコピペ(ゲーム「アークナイツ」キャラの再現AI)
    ・モデルセレクターでGPT4.5を選択

    画像

    といったようで、実験の下準備完了です。


    全体として実行&判明したこと

    色々と込み入った要素のある会話5往復分を、しかも4.5のみでなく4o/o1、そらにGPTs版『アヴドーチャ』で、都合4パターンを完走しました。

    ここにおいて各AIで面白いほど明瞭な応答差が発生し、さらに地味と思われがちな4.5の突出した美点も確認でき、非常に有意義なものでした!

    ただしその詳細は、今回記事では扱いません(近日中に執筆予定)。
    というのは、この実験の一部においてChatGPT4.5があんまりにもなガバ応答を連発してきた残念な流れがあったので、今回はネガティブ方面に絞って言及したいのです。


    今回の本題

    直近つぶやきでも画像チラ見せしてるのですが、「こちらが名乗った名前を "微妙に" 間違える」という実に奇妙、かつチャットAIとしては致命的すぎるガバ模様を実際にお見せします!

    そもそもこの実験で用いた会話テーマはどんなかというと、以下のスクショだと僕の第1入力がお尻だけ見えてる形ですが、まぁー 「MBTI系の性格診断について何を掘り下げるべきか、AIにうだうだ相談する内容」だと思ってください。
    総文字数としては500文字弱、そんな極端に読解が大変なものではなさそうなのだが……。

    画像

    シバヤ様?!
    ちょ、ちょっと自分違う者でして……とか名前訂正するのもなんか泥沼になりかねないので、目をつぶって初手を再生成しましょか……。

    画像

    馬鹿めが、馬鹿めが!私はシバイなどではない!
    直前の名乗りも聞いておらぬこの凡愚め!
    あまりに状況ぴったりだから使ったもののこんな古のネタどれぐらい伝わるのか

    やむなく、泣きのTake3。

    画像

    しばびっ(絶命)

    ……画像内の3/3とか表記でわかるように、リアル3連続で生成やり直して、マジでこの惨状だったのです。
    ほんと、なんである意味こんな器用に1文字だけ間違えるんでしょうかね?(ちなみに、それぞれ続く内容はぜんぜん真っ当なものでした)

    仕方ないので、もうセッション自体を新規にしつつ更に名乗りを冒頭でするように変えてみたら、それでやっとこさ通りました。

    画像

    ここに来てしらっと第1入力全体を開示しましたけど、まぁ端的なプロンプト指示に比べたらそりゃあ面倒度合いは高いものの、そこまで大変な応答負荷が掛かる内容じゃあないと思うのですがね(自分基準)。

    で、MBTIは皆さんご存じ『ESTP』とかな4文字で表すのに対して、ここでいう「ソシオニクス」というちょっとマイナーなタイプ診断では『LSE』みたく3文字表記するんですね。

    今回はその理屈的な部分など全く皆さまにお伝えしないまま進めるとして、ともかく以下画像内テキストの通り「『ILE』と『ILI』の違いを説明せよ」が続く第2入力の趣旨だったのですが……。

    画像


    なんと4.5アヴドーチャは、前者に関して僕の指定した I【L】E でなく、 I【E】E の分析をおっぱじめてしまった……。
    「タイプ診断」ってジャンルの性質上、1文字取り違えてたらまったく意味を為さなくなるので、これは完全にチャット続行不可になっちゃう級のやべえミステイクです。

    しかも、他モデルと比較実験する関係上テキストを大きくいじれないので……苦肉の策でILEとILIの前後にマークダウン式の** 強調 **を入れただけの変更で再生成してみたら、なんとそれで通りました!

    画像

    浅い考察

    ということで、1文字だけ見間違えるとか太字にしたらそれが解消するとか……冗談抜きに『目が悪いAI』でしかないですよね!

    でコレ、感覚的にはいわゆるハルシネーションでも「指示が複雑で読み切れてない」系でもない気がしてます。
    そっちのスジなら結局は『性能不足』と同義なわけですが、僕がこの半年触ってる4oにおいて「1文字単位の誤認識」なんて近しい事象すら発生しておらず、そこから基礎性能が上がったという4.5でそんな初歩的なミス的なものが連打されるってのは、不自然極まりないからです。

    なので僕が察するに、内実の可能性は2通りあって、

    1.単純に動作不安定
    まあーplusユーザー実装初日ってことで世界中からアクセス集中してたのは確実。そもそも、「プレビュー」と銘打ってある生成AIは土台それぐらいの不安定さが当然であって、それなら、単に時が経ったり正式版なら解消するからまぁ良いでしょう。

    2.OpenAIが妙に野心的なことを仕込んでる
    「目が悪い」が表面的な冗談じゃなく、本当にそういう作用だとしたら……という仮説ですね。
    つまり、ChatGPT4.5では単純なテキスト入力に対しても敢えて一手間以上かけて『画像認識』を組み合わせてるとか……もちろんそれで直接の利益があると思えないけど、まぁなんか、OpenAIに尋常じゃない深謀遠慮があるかもしれないですよ!
    して、もちろんこれも稼働し始めというので精度が悪くて結果的に「ユーザーの入力情報を文字単位で見間違える」というド近眼特有ムーブをAIにして繰り広げてる、みたいな……。

    いずれにしても、僕以外の人でも起こってる現象なら相当騒ぎになりそうなもんで、まだそういう話は全然観測してないんでほんとなんなんだろ?? というのが本音です。


    後書き(もしくは次回予告)

    今一つの可能性としては、モノローグ・インストとの相性問題は、実は濃厚です。だとしたらChatGPT4.5を試した世界中のユーザーの中で僕だけがこんな憂き目に遭ったということで、全く不自然ではありません。

    ただこれは「相性が悪い」とは絶対に表現したくない理由もありまして、それが次記事の内容になるわけですが、むしろ『4.5においてモノローグ・インストは非常に効きがよい』です!
    対抗馬、というか従来手法としては「GPTs」にての挙動がモノローグ・インストだったのですが、4.5で動かした方が格段にキャラっぽさが増しまして、これは僕としては望外のことでした。

    で、インストラクション準拠を意識しすぎるがあまりに会話の方のアテンションが足りなくなってる……とかだとすると結局具合の悪い話にはなってしまうが、そういうことなら、当面はやむを得ないかも。


    なんにせよ、ほんと今回は思わぬ4.5のネガティブキャンペーンみたいな記事になっちゃいましたが、物理的にこんな面白出力が出てきちゃったんだから仕方ないよね!
    もっとも僕は推論モデルsよりは 4o→4.5 系列を断然推したいタイプなので、良くないことは集約して軽く記事にする、という方針にしてみました。

    ともかくも本題は次記事で、そちらではChatGPT4.5の真価が垣間見られる世界で初の事例になろうので大げさすぎるこうご期待ください。

     
     
    おもにキャラ系AIの新奇的な設計やその試行結果とかをnoteに書き散らしている(『モノローグ・インスト』が現状一番の出物)、野良のAI錬金術師です。 どの記事も「読み物」的に気安く見ていただけるとありがたし。 (旧名義:GPTコミュニケーター・シバネ)

    あなたへのおすすめ