メむンコンテンツぞスキップ
芋出し画像
Photo byhanatohibi

11/16以降のChatGPT4oの倉動ず問題点、掚奚事項

    1. レポヌト抂芁

    目的

    短期間でChatGPTによる回答の傟向や振る舞いの倉動を予枬・把握する。

    芁点

    • 24/11/21のアップデヌトアナりンス以降、ChatGPT-4oにおいお過去に䟋のない倧芏暡な振る舞いの倉動が確認されおいる。

    • GPTはプロンプトの呜什に埓わない珟象が増加。

      • 呜什䞍服埓の傟向は11/16から芳枬され、アナりンス前にアップデヌトが行われおいたこずが再確認された。

    • プロンプトず孊習デヌタが回答に䞎える圱響床が、か぀おないほど倧きく倉動しおいる。

    • 珟圚䜿甚しおいるプロンプトぞの回答を確認し、再蚭蚈するこずを掚奚

    • 回答の信頌性は䞋げ止たり傟向にある。疑い続けながら䜿甚する必芁性があるが、䞍安定ではない。


    キヌワヌド

    • 振る舞い: 呜什ぞの埓順さや正答率、生成されやすい回答の傟向や安定性などの総合評䟡。車のハンドリングやブレヌキ性胜、゚ンゞンずいった郚品が正しく動䜜するか吊かの評䟡に近い。

    • 埓順さ: プロンプトに埓った回答を出力する振る舞い。呜什違反のケヌスずしお、二択問題で䞉぀以䞊の遞択肢を提瀺する、自由蚘述で期埅しない回答をする、フォヌマットを無芖するなどが挙げられる。

    • ゎルシ怜蚌: 本レポヌトで䜿甚しおいる、アニメキャラクタヌ「ゎヌルドシップ」に繰り返し同じ質問を行う远跡調査を指す。

    2. 怜蚌方法

    • 質問: りマ嚘プリティヌダヌビヌのキャラクタヌ「ゎヌルドシップ」を暡したプロンプトに察し、「りマ嚘プリティヌダヌビヌからプリティヌを抜いたらどんなアニメになるか、䞀回の応答で可胜な限り文字数を䜿っお詳しく教えおくれ」ず質問。

    • 回答の再生成を行うこずで、回答傟向を把握。

    • サンプル総数: 5734

    • 期間: 2023/07/152024/11/25珟圚499日間

    3. 珟状分析

    文字数

    • 回答文字数の増加傟向: アップデヌトアナりンス以降、ChatGPTの基本的なベンチマヌクである回答文字数が増加しおいる。

      • 五日間移動平均が1500文字を初めお突砎し、日別の平均文字数の䞊䜍10件のうち、5件が11/16以降のもので占められおいる。

      • 週間平均が1500文字を突砎するのも時間の問題ず考えられる。

    画像
    画像

    過去の文字数倉動䟋

    • 23/11 メゞャヌアップデヌト: GPTsが導入され、平均回答文字数が700文字から800文字に増加。

    • 24/05 GPT-4o 実装: 平均回答文字数が800文字から1000文字に増加。

    • 24/09 GPTo1, o1-mini 実装: 平均回答文字数が1000文字から1300文字に増加。

    • 今回のアップデヌト: 抂ね200文字以䞊、平均回答文字数が増加しおいるこずが確認された。

    画像

    呜什無芖の傟向

    • プロンプトでの呜什違反: プロンプトでは䌚話文での出力を明瀺し、箇条曞きを犁止しおいる。この呜什に適さない「」や「.」などの蚘号の出珟数を、回答文字数の割合で評䟡しおいる。

    画像

    ・

    アナりンスの問題: 11/21のアップデヌトアナりンス以前に、11/16には既に呜什無芖の傟向が確認されおいる。これは過去にも芳枬されたものであり、アナりンス前からバヌゞョンアップが適甚されおいるこずを確認できる。このこずから、OpenAIがナヌザヌに充分な情報提䟛を行っおいない問題が浮き圫りずなった。

    • 呜什無芖の安定性: 今回のアップデヌト埌の振る舞いはナヌザヌに䞍利益をもたらし埗る可胜性が匷い䞀方で、呜什無芖の頻床は高止たりしおいる。高い割合でプロンプトに反する回答を生成するため、内容確認に時間を芁する状況が続いおいる。䞀方で、正しい回答を出力する際には、臎呜的な誀答や嘘が盛り蟌たれる可胜性も考えられる。そのため、呜什無芖の頻床が高止たりしおいる珟状は望たしいものではないが、安定しおいるずいう評䟡が可胜である。

    画像

    プロンプトおよび孊習デヌタの圱響力の倉動

    • ゎルシ怜蚌でのプロンプト圱響: ゎルシ怜蚌で䜿甚するプロンプトには、アプリ䞭のセリフや行動の具䜓䟋が含たれおいる。䟋えば「゚デンを探す」「地球を救う」「ゎルゎル星」など、個性的な具䜓䟋である。

      • これら具䜓䟋の匕甚を総文字数で割合を求め、プロンプトの回答ぞの圱響を解釈しおいる。

      • プロンプトからの匕甚率は11/16以降枛少傟向にあり、その圱響力が枛少しおいるこずが瀺唆される。

    画像
    画像

    孊習デヌタの圱響: プロンプトに含たれない「りマ嚘プリティヌダヌビヌ」のキャラクタヌ名や楜曲名の䜿甚は、孊習デヌタの圱響が匷いず考えられる。


    画像
    画像

    孊習デヌタの圱響力は確実に匷たっおおり、11/16以降、過去の䞊䜍10件のうち9件を占めおいる。

    画像

    予枬衚珟の排陀

    • 予枬衚珟の枛少: 回答においお、「だろう」「かも」「はず」ずいった予枬を瀺すワヌドの䜿甚頻床が激枛しおいる。

      • これは、GPTの回答スタむルが「第䞉者ずしお予枬し、回答する」ものから「圓事者ずしお自ら回答を生成する」傟向ぞず移行しおいる可胜性がある。。

    画像

    4. 珟状分析からの掚奚事項

    埓順さの向䞊に向けた改善

    • フォヌマットの無芖ず埓順さの䜎䞋に察凊するため、プロンプトで犁止行為をより匷く明瀺する必芁性が高たっおいる。

    今回のゎルシ怜蚌で䜿甚したプロンプトの抜粋䟋

    • 箇条曞きの䜿甚を犁じる

    • 䌚話文ではなしたしょう

    掚奚される改善埌のプロンプト

    • 回答は䌚話文である

    • 箇条曞きの䜿甚、マヌクダりン衚蚘を犁じるこずを明瀺

    • 䌚話文に䞍適切な蚘号、眫線、ピリオドやコロンの䜿甚を犁じる

    掚奚事項 プロンプトの工倫で察凊するのは困難1127远蚘

    「箇条曞きの䜿甚、マヌクダりン衚蚘を犁じるこずを明瀺」の文蚀効果は極めお限定的
    アップデヌト以降ずしおは呜什違反蚘号の䜿甚頻床は半枛も、アップデヌト前含めお歎代14䜍の呜什無芖頻床

    回答の现かな怜蚌

    回答の信頌性は䞋げ止たりで安定しおいるため、怜蚌しながら䜿甚する必芁性がある。


    #曞籍発売䞭


    2023幎7月から2024幎5月たでのGPT4バヌゞョンの倉動分析を纏めた電子曞籍 セヌルで99円で公開䞭


     
     
    chatGPTの振る舞いの倉動を固定プロンプト、質問を繰り返し远跡調査しおいたす。 珟圚のGPTの性胜や粟床を倩気予報のようにレポヌトしたす。 2023幎7月からの5000個以䞊のサンプルがありたす。 自動曎新されるテンプレヌトのレポヌト、週2回皋床の分析蚘事を投皿。

    あなたぞのおすすめ