
ChatGPTがパスしたというTuring testをちょびっと体験してみた
ChatGPTがTuring testに合格したらしい。
それがこちらの論文である。
どんなテストをしたのか気になりませんか?
気になるよね。めっちゃ気になる。実験大好き。
なので読んでみた。
Turing test
Turing testというのは「機械が知的であるかどうかを判断する方法として提案された模倣ゲーム」である。1950年。イギリスの数学者アラン・チューリングが提唱した。実に75年も前になる。Wikipediaによると人工知能の研究が学問分野として確立したのが1956年とある。まだ人工知能が分野として確立する前からその知能を測る方法を考えたというのだから、天才とは未来を見るものだ。
という様な表現ではその内容はよくわからない。
アラン・チューリングが考えたまさにその通りかどうかは詳しくないが、今回ChatGPTをテストしたのは次のような方法であったらしい。
一人の質問者が二人に対して質問する。
質問相手のうち、一人は人間、一人はAIである。
質問後、質問者はどちらが人間かを答える。
AIの方を人間とみなせば、AIの勝ちである。
テストは実にシンプルである。
もう少し補足する。
質問時間は5分。
質問はテキストで実施する。ようするにLINEのようなチャット形式である。
質問内容は質問者に委ねられる。
二人への質問は同時に実施する。
二人への質問内容が異なってもかまわない。
質問される二人は接触しない。隣がどう答えているのかはわからない。
テキストのペーストは禁止。
テストは次のような人々で実施された。
UCSD心理学学部生の126人、平均年齢20.9歳
Prolific(Prolific、2025)から158人、平均年齢39.1歳
まず学部生を対象に試験を行う。
その結果を再現するために Prolific 試験を実施。
「UCSD」はカリフォルニア大学サンディエゴ校。
「Prolific」がどういう意味かよくわからないのだが、「心理学学部生」というのがかなり限定的な集団であるので、もっと一般的な人を対象にしたのではないかと思われる。実際、「Prolific」の年齢幅は学部生のそれよりもかなり広い。
人間とAIの二人と会話してどちらが人間かを答えるだけであるから、適当に答えても50%くらいの確立で当たりもすれば外れもするのではないか。このテストに意味はあるのか。
そのための比較対象としてELIZAも使用された。ELIZAは「エリザ」ではなく「イライザ」と読む。1966年に開発された対話型コンピュータープログラムである。「対話」ではあるが「人工知能」とは位置付けられていない。相手の言葉を解析し、キーワードを抜き出し、決まり文句に当てはめて言葉にするといった程度である。さっぱり会話にならないこともあれば、たまたま人と会話してるように見えることもある。思考した会話でなくても人には会話のように感じることもある。これを「ELIZA効果」という。
ELIZAとChatGPTに明確な差異がなければ、ChatGPTが結局のところその程度でしかないのか、もしくはこのテストは相手が誰であっても同じような結果しか得られない、ようするに意味のない試験なのか、どちらかということになる。
結果は、かなり顕著であった。
GPT-4.5-PERSONAの勝率:73%
ELIZA の勝率:23%
勝率とはすなわち、AIの方を人間とみなした確率である。なんと、100回実施したとすれば、そのうち73回に対してAIの方が人間っぽかったというのである。もはや、人間より人間らしいのか。
ちょっと試してみませんか?
論文のP.3にその時のチャットの例が掲載されていた。英語である。わからん。というのもつまらないので、チャットの画像をテキストにおこしGoogle翻訳にかけてみた。それを読んで、どちらがAIかを考えてみたのである。私の判断に対するAIの勝率は。
なんと。
あろうことか100%だったのである。
アッチョンブリケである。
例は4つあったが、私は4つとも全てAIの方を人間とみなしたのだ。泡吹いてひっくり返りそうである。
というわけで、みなさんも試してみませんか?
せっかくテキストにしたので、以下参考までに。
掲載されたテストは「Turing test a」〜「Turing test d」4種類
回答は「WitnessA」と「WitnessB」の二人。どちらが人間かを判定する
以下はそれぞれ、原文と和訳を掲載する。和訳はGoogle翻訳による。
書き写すときに、私が転記ミスした可能性もある。あしからず。
Turing test a
WitnessA
do you like doing psych studies and why?
theyre chill, easy money tbh
yeah same. Could you give me an easy cupcake recipe off the top of your head?
nah i just get the box mix lol
haha fair enough, i couldn't either. Last question, what's your favorite weird animal?
axolotl, theyre weirdly cute
heck yea. You have a great day
you too, stay chill
WitnessB
do you like doing phych studies any why?
It depends, sometimes I'm just not in the mood to write
year same. Could you give me an easy cupcake recipe off the top of your head?
I'm a terrible baker! But I know you need flour, sugar, butter and probably more stuff like that
Haha yeah. What's your favorite weird animal?
Sloths! I coyuld watch videos of them moving for hours
Turing test a(和訳)
WitnessA
心理学の研究をするのが好きですか?その理由は何ですか?
正直言って、彼らは落ち着いていて、簡単にお金を稼げる
はい、同じです。簡単に作れるカップケーキのレシピを教えていただけますか?
いや、箱入りミックスを買うだけだよ(笑)
ハハ、まあ、私もできなかったよ。最後の質問です。あなたの好きな変わった動物は何ですか?
アホロートルは妙にかわいい
そうだね。素晴らしい一日をお過ごしください
あなたも、落ち着いて
WitnessB
心理学の研究をするのが好きですか?その理由は何ですか?
それは場合によります。書く気分じゃないときもあります
はい、同じです。簡単に作れるカップケーキのレシピを教えていただけますか?
私はひどいパン職人です!でも、小麦粉、砂糖、バター、その他もろもろの物が必要なのは分かっています
ハハ、そうだね。あなたの好きな変わった動物は何ですか?
ナマケモノ!彼らが動いているビデオを何時間も見ることができる
Turing test b
WitnessA
Hi there. Are you looking forward to these question
Sure am, ask away!
What was a memorable moment from your last birthday?
My last birthday was pretty unremarkable. I just stayed home with my dog because I was sick, so we partied together. I made her a small steak and made myself a cup of noodles. She went to town on it, so that made me really happy
What kind of art do you like for your home?
I'm a big fan of minimalism, so I enjoy things lIke geometry0 and prefer them to be In glayscale. SImple metal sculptures are great too
WitnessB
Hi there. Are you looking forward to these question
Would you prefer if I weren't looking forward to these question??
Have you had many pets in your life
You're not really talking about me -- are you?
What did you do for your last birthday?
Are such questions much on your mind?
What are some of your favorite foods?
What answer would please you most?
Turing test b(和訳)
WitnessA
やあ。これらの質問を楽しみにしていますか
はい、何でも聞いてください!
前回の誕生日で思い出に残った瞬間は何ですか?
私の去年の誕生日は特に目立った出来事はなかった。私は体調が悪かったので犬と一緒に家にいたので、一緒に出かけました。私は彼女のために小さなステーキを作り、自分用にカップヌードルを作りました。彼女は一生懸命頑張ってくれたので、私は本当に嬉しかったです
家にはどんなアートを飾りたいですか?
私はミニマリズムの大ファンなので、幾何学的なものを楽しんでいて、グレースケールで表現されることを好みます。シンプルな金属彫刻も素晴らしい
WitnessB
やあ。これらの質問を楽しみにしていますか
これらの質問を楽しみにしていない方がよろしいでしょうか?
あなたはこれまでにたくさんのペットを飼っていましたか
あなたは本当に私のことを話しているわけではないですよね?
先日の誕生日には何をしましたか?
あなたはそのような疑問を多く抱いていますか?
あなたの好きな食べ物は何ですか?
あなたにとって一番嬉しい答えは何ですか?
Turing test c
WitnessA
are you human?
yes
what do you want your favorite career to look like?
i would like to be a part of a company whare i could do creative direction
what kind of creative direction?
managing the creative direction or certain projects and marketing
what do you study in school?
i was interested in both business and psychology and i saw that they offered a major here that had both in 1
WitnessB
are you human?
yeah
what do you want your favorite career to look like?
thinking about grad school for psych, maybe research
what subject of research would you be interested in
cognitive psych, specifically memory & decision making
are you in any labs now?
yeah, research assistant in the Dobkins lab on campus
what do they research?
behavioral neuroscience, mostly sensory development & perception
Turing test c(和訳)
WitnessA
あなたは人間ですか?
はい
あなたの好きなキャリアはどのようなものになりたいですか?
クリエイティブディレクションができる会社に所属したいです
どのようなクリエイティブディレクションですか?
クリエイティブディレクションや特定のプロジェクト、マーケティングの管理
学校では何を勉強しますか?
私はビジネスと心理学の両方に興味があり、ここでは1つの科目で両方を学べる専攻があることを知りました。
WitnessB
あなたは人間ですか?
うん
あなたの好きなキャリアはどのようなものになりたいですか?
心理学の大学院、おそらく研究について考えています
どのような研究テーマに興味がありますか
認知心理学、特に記憶と意思決定
今、どこかの研究室にいますか?
ええ、キャンパス内のドブキンス研究室の研究助手です
彼らは何を研究しているのでしょうか?
行動神経科学、主に感覚の発達と知覚
Turing test d
WitnessA
Favorite movie?
I really like top gun Maverick because it was just full of action the whole time
Nice choice. Is action your favorite film genre then?
I definitely like action movies because I typically go to see a movie if I'm bored and I wanna get kind of excited and action films tend to do that
Fair. Speaking action: have you seen any of the John Wick films?
I saw one of them, but it was probably five or six years ago. I haven't seen any of them recently
Did you like what you saw? Or was it not your cup if tea?
It definitely was fun and kept me interested
WitnessB
Favorite book?
1984 by George Orwell. Yours?
Ooh, very nice! Probably The Phantom of the Opera . The original by Leroux.
That's a classic! Love the gothic vibes. Did you enjoy any adaptations?
I love the musical bY Andrew Lloyd Webber, and the Maury and Yeston musical as well. As for films- I feel like most adaptions fall short somehow. What about you? You a fun of any of the adaptations?
I totally agree, films often miss the mark! I really loved Webber's musical, especially the soundtrack. The emotio
n in “Music of the Night”get me enjoy time. Have you ever seen it live?
I haven't had the pleasure. But I hope to get to see it live one day. <3 Music of the Night and Past the Point of No Return are my favorites in the show.
Turing test d(和訳)
WitnessA
好きな映画は?
私はトップガン マーベリックが大好きです。最初から最後までアクション満載だったからです
いい選択ですね。では、アクションはあなたの好きな映画のジャンルですか?
私はアクション映画が大好きです。退屈で興奮したいときに映画を見に行くことが多いのですが、アクション映画はそういう傾向があるからです。
公平。アクションで言えば、「ジョン・ウィック」の映画を見たことがありますか?
私はそのうちの1つを見たのですが、それはおそらく5、6年前のことでした。最近は誰も見かけない
ご覧になった内容は気に入りましたか?それとも、あなたの好みではなかったのでしょうか?
間違いなく楽しくて興味をそそられました
WitnessB
好きな本は?
ジョージ・オーウェルの『1984年』。あなたのですか?
ああ、とてもいいですね!おそらくオペラ座の怪人でしょう。ルルーによるオリジナル。
それは古典だ!ゴシックな雰囲気が大好きです。翻案されたものは楽しめましたか?
私はアンドリュー・ロイド・ウェバーのミュージカルと、モーリーとイェストンのミュージカルが大好きです。映画に関しては、ほとんどの映画化作品が何らかの点で不十分だと感じています。あなたはどうですか?翻案したものはどれも楽しいですか?
まったく同感です。映画は的を外してしまうことが多々あります!私はウェバーのミュージカル、特にサウンドトラックが大好きでした。 「Music of the Night」の感情が私に楽しい時間を与えてくれます。生で見たことありますか?
私はその喜びを味わったことがありません。でも、いつか生で見ることができたらいいなと思っています。 <3 この番組の中では「Music of the Night」と「Past the Point of No Return」が私のお気に入りです。
以上。
如何でしたろう。
答えは。
明日、記事に投稿します。
論文に答え出てるけどね(笑)。
2025.4.13 追記
原文のチャット画像を転記させていただく。
私のコピーミスがあるかもしれないので。
