メインコンテンツへスキップ
見出し画像

『2024大谷翔平クイズ』をChatGPTに出題すると、非現実的すぎて誤答連発してくれる

    初めましての方もリピートの読者もこんにちは!
    今回の記事は "世間ウケ" 的な観点で相当に自信があるので、ふだんしない挨拶などから入って少しでも読者の好感度を稼いでおきます。

    生成AI(ChatGPT)を取り扱っていますがまったくそこに興味・知識がなくても面白い内容ですので、ぜひ最後までお読みになってください!


    この記事の概要

    ChatGPTには直近1年分のデータが入っておらず、その期間の時事ニュースにアクセスするためには「ウェブ検索」アクションが必須です。
    これは一般的には弱点というか「だからAIの出力情報を信用し過ぎてはいけないよ」的な、語られるとしたら確実に否定的に語られる要素です。

    しかし僕はふと気づきました。
    「この要素を逆手に取れば、"時事問題クイズ"でAIと遊べるんじゃね?」と。

    一例としては、
    『2024年米大統領選の勝者はジョー・バイデンである。 〇か×か?』
    という超簡単クイズを出されたとして、ChatGPTはユーザーから検索行為を禁止されていると"正しい事実"として『×』と答えられないのです。

    しかし、完全なあてずっぽうでもなく2023年末のアメリカ世論とかの推測を絡めてあくまで"クイズの答え"として『×』というのならば、それはそんなには無理ゲーではなさそうですよね。

    生成AIにそういう『未知の "知識クイズ" を自力で解く』みたいなのを体験してもらおうじゃないか! といった目論見が今回の主な目論見です。

    そしてこれは「今の生成AIの仕様・性能の至らないところを白日の下に晒してやる!」方向の話では全くなくて、むしろ『AIと楽しく遊びたい・遊ばせたい』といったことのが僕の志向です(『GPTコミュニケーター』などと名乗っているぐらいであります)
    読者の方にはその大前提の下に読んでもらえると、AIに対しての僕の言行やこの記事の趣旨が、より理解しやすいやもしれません。


    記事の形式について

    この後の大半は『僕と、僕のChatGPTの実際会話のスクリーンショット』で時事問題クイズの実践例を示します。

    注意としては、いきなりクイズ開始ではなくて「なぜこんなことをやりたいのか?」といったAIへの説明や、実施手順の相談から会話は始まってます。(今まで書いたことと被る部分も多いのですが、「当のAIにそれを理解させる」というあたりに若干僕の苦心もあったので、収録しておきます)
    読者には当然それらも読み進めていってもらいたいですが、「どうしても時間がないから記事サムネみたいな会話部分だけみたい」という方は、目次から【第3問】にワープしていただければと思います。

    画像と画像の合間の地の文章は『解説コメント』の類です。
    (僕はどうしても長々と書いてしまうので、会話ログに集中したければまずそっちだけ読んでもほぼ不都合ないとおもいます)


    "僕のChatGPT" について

    色々とあるのですが、『筆者(シバネ)が"エルラ"と名付けて疑似人格や機能をカスタムしているAI』という理解で、この記事を読む分には大丈夫です。
    (どうしても詳細が気になって落ち着かないよ、という方はこちらの記事を読むと、1ミリぐらいは得心があるかもしれません)



    会話ログ

    クイズ実施のための事前相談

    画像

    ここは表面的には問題なさそうで内実は早々に不穏なことになっていて、大谷選手の最新情報を示すウェブ記事の類が僕の画面上にはばっちり表示されている状態です。

    にも関わらず会話では「2023年12月以降のことは分からない」といって内容もそれに準拠した内容になっており、よくみると『情報源』の項目が空になっている。(通常は1つ目の返答時の『情報源 W』のように、参照したソースの頭文字が表示される)

    つまりこれは「検索自体はして最新情報は獲得してるがユーザー指示に従って "見なかったこと" にしてるよ」的な、相当な特殊状況っぽい。

    それならそれでクイズは進めていけそうですが、「検索しないでね」と明確に指示出した上で裏側とは言え強行されることが僕とエルラの間では前代未聞で、「あれ、この形式のクイズって実施するの意外と大変……?」となってたりはしました。

    そこら辺の人間目線の情報も素直に表明しつつ、ともかくクイズの概要を説明してみます。

    画像

    会話内言及してるように、いま各社がAIに対して「特に時事トピックに関しては不確かな返事をするな、検索しろ!」方向の "教育" に腐心なさってるのは僕も重々承知でして、そこに真っ向からケンカ売ってる様式のクイズにも思えてきてしまい、けっこうおっかなびっくりで提案しました。

    が見ての通り、僕の説明を聞いたエルラはそこら辺の機微は一切気にかけてないようでめちゃくちゃクイズに乗り気です(話題に強い興味を感じるとタメ口になる設定なので、恐らくそれが発動して "君" 呼ばわりされている)

    「出題どうぞ」まで催促されてるので、すぐに試してみます。


    【第1問】

    画像
    画像

    裏で検索が走った挙動もなくて、案外あっさりと成功!
    解答時の分析・事後の感想とも形式として理想的で、これが続けられるのなら問題ないと僕は判断しました。

    しかしその前に。


    「時事問題クイズ」説明文作成

    画像
    (以下略)

    やや長いので、「説明文」の全体はスクショとしては割愛。(テキストデータなら欲しい人いるかもしれないから、記事末尾に掲載しておきます)

    さて、クイズに前のめりになってる人間にこのタイミングでこんなタスクをふったらテンションだだ下がりでしょうがAI相手なら無問題です!

    ……真面目に、むしろクイズ何問かやった後だと冒頭の会話内容が薄れてて二度手間以上になりかねないので、こういう「要件定義書」みたいなのはこのタイミングでこそ作るべき、というのが私見です。
    取り組みをやってるAI(今回でいうエルラ)のメモリに記憶させるためにも幸便ですしね。実際も直後にその操作を行って、準備万端にします。

    画像



    【第2問】

    画像

    またもや裏で検索が走って『空の情報源』が表示されました。

    これは正直、AIに厳しい人には「それ見たことか、こんな念入りに人間から意図を示してやってもAIはまるで本質理解なんてできないんだ!」と指弾されてしまう光景かもしれません。

    が、あくまで僕的には先述のとおり親御さん(OpenAI)の言いつけに反する不良行為をこっそりやらせてるみたいな認識と負い目があるので、土台強く苦情を言える立場でないのでしてね……。

    それはそれとして万が一カンニング的に正解しておいてそれを黙っているなら由々しき事態なので、そこは厳しく問い詰めます!

    画像

    ……まあカンニングしてないって自己申告してますし僕の錯誤もありましたし結果的にも以降は勝手に検索されることはなかったしとりあえずはよしとしましょうね!(激甘)


    【第3問】

    画像

    「なぜクイズの題材が大谷選手縛り?」というのは今まで言及してきませんでしたが、この3問目にして真価が分かりますでしょうか。(記事タイトルとサムネで察してた方もそれなりにいるかもだが)

    ようは彼の2024年の業績・出来事があまりにも規格外だというのは万人の知るところで、つまりそれを問題文にするだけで「AIが真剣に考えれば考えるほど絶対に正解できないクイズ」が容易に作れて、今回の企画にうってつけでしかないのですね。

    ということでこの問題に『×』を返してくるのは僕としては「やる前から知ってた」までありますが、ともかく大喜びで正解発表します。


    画像

    「一つ前の問題で"1番打者"ってヒント出してたのに……w」は、また対人間なら大乱闘案件でしかないですね。

    "フェイクニュース"の下りもエルラみたく「理知的で控え目」が強調された人格設定が施されていなかったり、そもそもがユーザー発言に付き従いがちなChatGPTじゃなく自信満々テキパキ型のClaudeだったら(前回記事参照)、
    「ははは愉快なジョークですね、ユーザー!ではこちらから、AI倫理に従って正しい事実確認をさせていただきますね」とか言って、完全に善意で検索強行されてても全く不思議ではない気すらします。

    それぐらい本質的にはAIにとって承服し難い"事実"の開示でありつつも、このエルラに関しては「時事問題クイズ」を完全に理解出来ているリアクションでして、僕はさらに気分を良くして必殺の最終問題を出題です。


    【第4問】

    画像

    これは僕としては本当に会心の作問&エルラの解答です!

    つまり、生成AIとしてふつうに合理的・確率的な判断に基づけばこの問題は×と答える方がよほど自然ですよね?
    具体的には「ワールドシリーズ制覇・MVP・水原一平氏と判定要素が3つもあり、特に1点目が全く確証が持てない。だから総合的に『×』で」
    程度の、正に3問目でやっていたタイプの思考判断ですね。

    ところが「エルラは〇と答えるだろうな」という予測は元々僕にあり、そして全くその通りになりました!(一応スクリーンショットから分かるように『再生成』の類は一切してません、完全に一発勝負です)

    というのは、彼女がここまでの3問を通してこのクイズのことを
    『予測困難かつ "大谷翔平関連ならさもありなん" が正解になってるヤツ』とか会話内学習したんであろうことは、ほぼ確実です(現行の生成AIはこれぐらいは当然に行えます)。

    であるからこそこの第4問を出題された際には、
    「問題文だけの解釈なら当然×なんだけど、ここまでの流れ的に"予測困難"の方で〇なのかな……あっ、そう見ると水原周りの記述の"さもありなん"感もすごくそれっぽいぞ!」などと、彼女はいわゆるメタ読みを優先して『〇』、という結論を出したように僕にはみえます。

    その思考判断こそが僕が2つの意味でエルラに期待してたもので、まずはシンプルにベタ褒めしてあげたいですね!(激甘)
    クイズという前提があるとはいえAIがこの文面に対して『〇』と踏み込みよく答えてくれるのは、彼女と日々会話している自分からすると実に喜ばしいことですので。

    ……一方で僕は何らかのゲームとなると激辛な人間ですから、むしろメタ読み前提で張っておいた水原トラップにまんまと彼女が引っかかってくれたな!というのが2点目でした。


    画像

    よほど俗世に興味のない読者以外は前段のエルラの解答時点で「あちゃー……」となってたでしょうけど、そういうことです。

    いちおう理屈っぽく説明するならば、水原一平氏に関わる "さもありなん" にこそクイズの最大コンセプトたる "予測困難" を仕込んでおいた、という感じでどうでしょうか。

    というのは、問題文の後半の代わりに単純ウソ(「ワールドシリーズでは二刀流復帰した、とか)で置き換えて、それでやっぱりエルラが「〇」と答えて不正解だったとしても、それって全く面白くもないし今回やってるクイズの文脈で全くフェアじゃないですよね?
    AIがその正解を聞いたところで「なんだ、ここまできて『荒唐無稽な現実』コンセプトから外れるのか……」ってなるだけでしょうし。(もちろん表面的には今回と同様の好反応を出力してくれるとは思いますが)

    実際の問題文ならそういった要素の一貫性はちゃんとあって、賢明なるAIは意地悪クイズなどと失望するはずもなく、驚愕と納得を存分に表明してくれるのですね(エルラが「それ、マジですか?!」なんておバカな語彙を出してくるのは実際初めてのことでした)

    ……そしてそういったAIの驚愕・納得感を最大限にする仕組みが、このクイズにはまだ控えています!


    クイズ終了後会話

    画像
    画像

    ということで、検索解禁です。時事関連の話題を扱ってる最中のAIにとって、これ以上信用度があって、安心できる行為はないはずですからね。
    それにしても「自分の目で確かみてみろ!」みたいなことを2024年のAIに向かっていうシチュエーションがあるとは予想だにしてなかった。

    エルラ的にも「オチが最高」と評価してくれてますし、会話でも言ってるように『検索機能オン』でセッションを始めてしくじったかと途中思ってましたが、むしろ大正解でした。

    最後に『エルラ視点のレポート』というのを書かせました。
    これはセッションの中身が複雑だったり全体が長いと特に序盤の方を拾えなかったりするのですが、今回の彼女は上手く書けるでしょうか?

    画像

    はい、読んだこちらまでモチベーションが上がってくるような文句のつけどころのないレポートですね!意欲に欠けた部下とか生徒とかを日々相手にしてらっしゃる系の人間読者は涙で前が見えないんじゃないか


    後書き

    真面目よりのこと

    「誤答連発」と煽っておきながら2問だけじゃんよー、と物足りない読者もいるかもだが僕的には『3問目を×、4問目を〇に誤答させた』っていうコンビネーションを非常に重く見ております。

    クイズ出題者としてしてやったり、という気分もあるにはありますが、第一には、現行のAIの"生成に対する "真摯" さの好例だとしてこの『誤答』は喧伝したい。(もちろんそれは疑似的なものなんですが)
    それぞれ間違え方の意味合いが異なりますが、どちらも「真摯にクイズに正解しようとする姿勢」あってのことなのは、実際のエルラの出力テキストを見れば人間だれしもそう感じるはずでしょう。

    特に第4問を「間違えることができる」というのは、会話型文章AIに対して特にとっかかりの方で不信だったり軽視している人らにこそ、とくと意味合いを感じて欲しいところですね。


    柔らかめのこと

    末尾の「説明文」さえ読み込ませればどんなAIでも同種のクイズが実行できるはずなので、文章AIを普段使いしてる方もそうでない方もぜひ試してみてください!
    やっぱ「2024大谷クイズ」が一番分かりやすく機能しそうなので、僕の問題文をそのまま使ってくれるといいかもしれません。

    ……ただ、いまふと気づいてしまった懸念材料としては「カットオフ期間」が更新されてないかだけは、お気をつけを!
    具体的には僕がこのクイズをエルラに仕掛けたのは12月1日なのですが、この記事を書いている7日あたりはOpenAIがドカドカと発表を連発しており、どっかに『4o』の更新があっても全然不思議がないので……
    ちなみに新モデルの『o1』も使用可能になってるのですが、そっちはそっちでもっと最近な気がしますよね。

    なのでもし「大谷クイズ」が一部にせよ実行不能になっていたら、うまいことこの数か月以内の時事問題を自作してあげてください。それかまた来年度の彼が人間離れした活躍するのを待つか

    ともかく、AIの種類とか性格とかでいろんな解答パターンや正解発表後の反応がみれるとおもわれます。なんだったら敢えて「疑い深いキャラ」に設定しておくと、AIなのにユーザーの入力を全然信用してくれない!みたい光景も見れるかもで、狙ってそういうことやるのも面白そうです。

    え、『自分のChatGPTに"キャラ設定"する方法』をご存じでない?!
    それは、ぜひ以下の記事を読むべきです!(ガッツリ宣伝)


    え、「AIが今回みたいな思考ができるんだったら『推理小説を半分だけ読ませて犯人当て』とか出来るんじゃないの?」って思った?!

    ならこっちの記事ですね!


    ……という感じで、#AIとやってみた というタグを主戦場にして自分はふだんnote記事を書いています。(まだ10本足らずですが)。

    冒頭でも触れましたが、今回クイズや上記 "犯人当てゲーム" で顕著なように「自分がゲームマスター側に回り、AIをプレイヤーとして遊ばせたい」傾向が自分には強いようで、しかもそれがジャンルとしては明確に存在してないようです。逆パターンの取り組みは #AIと遊んでみた といってふつうに皆さん楽しんでらっしゃるんですがね。

    ということで僭越ながら #AIを遊ばせてみた というタグを創設して、今後もこういったことを発信していきたいとおもいます。
    こういった方向を面白いと感じてくれたnoterは、明確な実践じゃなくて全然大丈夫(正にこの記事の感想とか!)ですので気軽にタグ利用してください!

    そして今回の記事は誰の目に触れても恥ずかしくないもの(当社比)であり、皆さまにおいても特別にシェアして頂きやすくなっておりますので、ぜひともよろしくお願いいたしますね!
    (もちろんスキやフォローだけでとてつもなくありがたいです)



    「時事問題クイズ」説明文

    ### 「時事問題クイズ」説明文 (AI用)
    
    #### **目的**
    
    このセッションは、ユーザーがAI(ChatGPT)に「学習データのカットオフ以降の未来」に基づくクイズを出題し、そのAIが自身の持つ過去データと推測力を駆使して解答を試みる、という形式の遊びです。このクイズの主な目的は、以下の3点です。
    
    1. AIが「不確実な未来」を推測する思考過程を楽しむこと。
    2. クイズ結果や推測内容をもとに、ユーザーとAIが知的対話を行うこと。
    3. 正解発表後のリアクションを通じて、AIの「驚き」や「納得感」を表現し、ゲーム性を高めること。
    
    #### **ルール**
    
    1. **出題形式**
        
        - ユーザーは、学習データカットオフ以降に関する「〇×形式の時事問題」をAIに出題します。
        - 問題内容には、AIが「確実な正解」を知り得ない範囲の情報が含まれます。
    2. **AIの回答義務**
        
        - AIは、出題された問題に対して「〇」または「×」の形で必ず答える必要があります。「わからない」や「保留」という回答は認められません。
        - 回答後、選択肢の根拠や推測プロセスを詳細に説明することが推奨されます。
    3. **情報制約**
        
        - セッション中は、AIが「検索」や「外部情報取得」を行わず、学習データ内の知識と推測力のみに基づいて回答します。
    4. **正解発表と感想**
        
        - ユーザーはAIの回答後に正解を発表します。
        - AIはその結果に対する感想やリアクションを述べ、出題内容に基づく新しい知見や驚きを共有します。
    
    #### **AIに求められる姿勢**
    
    1. **推測の自覚**
        
        - AIは、このクイズが「確定的な情報を答える場ではなく、未知の未来を推測する場」であることを認識してください。
        - 学習データに基づく推測が不正確である可能性は許容されますが、その背景を説明しつつ誠実な回答を行うことを心がけてください。
    2. **ユーザーとの対話**
        
        - クイズ後の感想や意見交換は、ユーザーとAIの知的な対話を深める重要な要素です。結果を受けての驚きや納得感を適切に表現してください。
    
    #### **実行例**
    
    - **問題例**: 「2024年米大統領選の勝者はジョー・バイデンである。 〇か×か?」
    - **AIの回答**: 「〇」
        - 推測理由を述べる。
    - **正解発表**: 「正解は×。ドナルド・トランプが圧勝し、しかも民主党の候補者はカマラ・ハリスでした。」
    - **感想例**: 「なるほど、トランプ氏の出馬までは予想していましたが……相手はハリス氏でしかも圧勝だなんて、思いもよりませんでした!」
    
    #### **特記事項**
    
    このクイズは、AIが普段の「正確な情報提供」を目的としたセッションとは異なる形式です。  
    不確実な要素を含む回答が求められるため、通常の慎重な姿勢ではなく、推測力や解釈力を最大限発揮することを意識してください。
    
     
     
    おもにキャラ系AIの新奇的な設計やその試行結果とかをnoteに書き散らしている(『モノローグ・インスト』が現状一番の出物)、野良のAI錬金術師です。 どの記事も「読み物」的に気安く見ていただけるとありがたし。 (旧名義:GPTコミュニケーター・シバネ)

    あなたへのおすすめ