メインコンテンツへスキップ

理論物理学者は月額3万円のChatGPT o1 proをどう評価するか

    はじめに

    近年、生成AIブームが加速するなかで、「o1 proが〇〇というテストで人間の平均値を上回った」「〜というベンチマークで専門家を超えた」など、さまざまな情報がインターネット上に広まっています。
    私(Nero)は東京理科大学の学生として、授業のわからない点や課題などを解決するために、o1 proをはじめとする生成AIを日常的に活用しています。学部レベルの初歩的な学習では非常に有益で、授業の理解を深めるうえで大いに助かっています。
    しかし、実際に大学教授レベルの知識や「教科書に書かれていない本物の知」を、AIがどこまで生成できるのか。
    論文を執筆する上で、AIはどこまで手助け出来るのか。
    そこに興味を抱き、量子力学の授業を担当する坂本先生と一緒にChatGPT o1 proの性能に関してインタビューをさせて頂きました。

    坂本 玲峰先生の経歴

    坂本先生は数理物理学を専門とする研究者で、東京大学で物理学と数学を学び、2008年に博士号を取得。その後、東京理科大学や東京大学で教鞭を執り、現在は東京理科大学および東京科学大学(東工大より改称)で物理学や数学の専門科目を教えています。
    研究では、シュレーディンガー方程式が厳密解を持つような特別に性質のよいモデルに着目して新たな数理構造を探求しています。
    主な研究成果は著書『ベーテ仮設の数理』(森北出版、2021年)にまとめられています。
    坂本先生のnoteはこちら → https://note.com/reiho_sakamoto

    今回は3つの課題を用意し、それぞれのChatGPT o1 proの出力を評価することによって、「実際に大学教授レベルの知識や教科書に書かれていない本物の知を、AIがどこまで生成できるのか」を評価しました。

    課題1 シラバスの設計

    まずはじめに量子力学Aと量子力学Bの授業シラバスをChatGPTに送り、それに続けて量子力学Cのシラバスを出力するという課題も行いました。
    ※ 技術的な細かい部分について最初に指摘しておくと、この回答では量子力学Aと量子力学Cに一部重複があります。実際の講義という意味では、そうした補正を行いながらシラバスを考案する必要があります。

    結果

    出力されたシラバスを坂本先生に評価していただきました。

    実は量子力学Aと量子力学Cは坂本先生が実際に担当されている科目です。既に坂本先生が考案された量子力学CのシラバスはChatGPTの与えた回答とは全く異なるものでした。坂本先生によれば「ChatGPTの回答はいかにも古典的、教科書的な内容であり、以前類似した講義があった際には履修者が極めて少なかった」とのことです。現在の坂本先生の講義にはかなり多くの履修者がいるそうですので、ChatGPTの与えた回答を参照しないほうが講義としては成功していると考えられます。坂本先生によれば、

    「レベルの高い講義になるほど決まったスタイルは存在しなくなり、教員側の研究者としての知見が強く反映された講義になっていきます。大学の講義はそうした個々の研究者の持つ知見を得ることが重要な目的です。同じ学問領域に対して様々な解釈が存在することが学問の進歩の源です。そういった目的には生成AIは役立たないことが分かりました」とのことでした。


    課題2 専門書の数式の行間を埋める

    今回は、実際の研究現場を想定した課題をo1 proに与え、その回答を検証しました。理論物理学者の実際の研究現場では、最新の未出版論文などに多く見られる証明や計算過程の大幅な省略部分を埋める作業など、原著者の意図をくみ取ることで多くの労力が必要となっているそうです。最新の結果ですからネット上に参考となる情報はありません。今回は少し設定を易しくし、典型的な大学院レベルの教科書でやや行間が空いている部分を埋めるという設定にチャレンジさせました。単なる「有名問題の暗記」では太刀打ちできないシナリオを用意することで、AIがどこまで対応できるかを測ろうというわけです。
    具体的には、前後2ページ分の内容を読み込ませたうえで、式(4.7)から式(4.9)の導出を問う課題を提示しました。

    画像
    量子力学において現れる、式4.7→式4.9への導出過程の課題

    これは坂本先生がAIの能力を図るために用意した課題であり、学部4年生が研究室のセミナーなどで訓練される内容が想定されています。
    このレベルになってくるとネット上の情報もかなり少なくなってきますので、生成AIが単なるネット情報の寄せ集めなのか、あるいは固有の知性を持っているのかという問題についての洞察が得られることを期待できます。

    結果

    実際にo1 proに解答させたところ、生成AIの内部構造について示唆に富む多くの興味深い反応が得られました。以下の二点は坂本先生のコメントです。

    ①
    最初はOCRの読み取りに多くの誤りがあり、示すべき式4.9がありえない形に認識されていました。こちらの確認不足でそのままChatGPTに読ませてしまったのですが、絶対成立するはずのない「式4.9もどき」に対して堂々と導出を与えてしまいました。
    間違った式を「証明」しているのですからもちろん間違った証明です。式の意味が分かっていれば「この式は間違っている」と答えるのが正解です。このことから生成AIは知能を持っておらず、パターン認識のものすごいバージョンを使って類似した情報を他から持ってきているのが分かります。
    この点で示唆に富む別の現象は、提示した教科書の範囲内で様々な記号が定義されているにもかかわらず、AIはそれらの定義を無視して、別の文献でしばしば採用されている記号のセットを勝手に持ち出してきてしまいました。これはAIが提示された文章を理解できておらず、パターン認識で引っかかった別の文献から流用していることを示します。

    ②
    OCRの誤りを修正して改めてChatGPTにやり直させると、今度は勝手に特定の状況を想定して回答してしまうという現象が起こりました。実際には何ら仮定することなく単純な式変形で厳密に示せるのですが、「〇〇という仮定のもとでは…が成り立つ」といった回答になります。こちらで「状況を想定しないでほしい」と再度指示しても、その想定に至った根拠を述べるだけで、問題の本質に沿った正確な解法にはたどり着けませんでした。この場合は人間サイドがあらかじめ代数計算だけで厳密に示せると分かっているので害はないのですが、通常想定されるように、理解していない人がAIを頼った場合には誤った理解を得てしまうことになり有害です。

    もちろん、学部生レベルの勉強や市販の教科書に載っているような問題であれば、すでにネット上に類題が多く存在しているため、AIは十分に応用可能です。しかし、未知の問題設定や教科書に載っていない新しい情報を補完するという点では、依然として限界があるようです。

    課題3 研究者としての能力を評価する

    ChatGPTが研究者レベルの能力と比べてどの水準であるのかを確認するため、先生が2010年に発表された論文を題材に取り上げました。これは純粋数学の一流誌に採択された論文だそうですので、世界的に高い評価を受けたご業績と考えられます。ここではChatGPTに論文を読み込ませたうえで、今後
    の研究についての提言を行うように求めました。

    結果

    結果として5つの提言が出力されました。

    1.クリスタル理論と層状構造(layered structure)の活用:
    2.既知の小ランクケースでの解析:
    3.幾何学的・表現論的手法の援用:
    4.トロピカル手法やタウ関数とのさらなる関係:
    5.LR対応の普遍性と変形パラメータの導入:
    https://chatgpt.com/c/6765071d-112c-8010-8c81-7704b800e3b7

    坂本先生から次の回答をいただきました。

    「すべての項目および最後のまとめにいたるまで、ランクに関する条件を緩めて一般化された全単射を構成すべし、という内容を手を変え品を変え書いている印象です(もうちょっというと項目2,3には不正確な内容が含まれ、項目4は経験上無理筋でもっと難しくなる、項目5は意味不明だと思いました)。まずその後の事実として、これらの問題は全て私および他の研究者との共同研究において解決済みです。その理論の完成において中心的だったのは私が証明した艤装配位上に代数構造を導入する定理です。したがってChatGPTの提言とは全く異なる方針で解決されました。
    私としては当該論文ではランクが大きいときに興味深い構造が出現するという点が面白かった結果であり、レフェリーレポートでもその辺りを評価してくれていた記憶があります。したがってChatGPTの記述とは方向性からして異なっていると感じました。学会などで取りあえず座持ちさせるために持ち出される空っぽの質問に似ているなあという印象を持ちました。突っ込みを入れられそうなポイントのパターンを取り出して反射的に出している回答のような気がします。コンピュータはルールの決まった問題には強いが、ルールの決まってないことは苦手とか言われますが、そんな感じだなあと思いました。」

    今回の試行を終えて、先生による全般的な所見

    今回の3つの課題を通して、坂本先生から次の全般的な所見をいただきました。

    今回の試行の結果に基づけば、現在の生成AIはネット情報の水準を超えるものではなく、知性があるとか、創造的な思考をしているとは考えられない結果が得られました。すでにネットに多くの情報があるような大衆的な知識であれば大いに活用できますが、逆にAIに頼りきっていると、本質的に新しい情報を創造する側には回れず、必ず二番手の存在になってしまうのではないでしょうか?私の経験では、若いころには大家の書いた名著などを時間をかけて読みこみ、自分なりのイメージを作り上げていくといった努力が重要だと思います。ここで書物といったのは、書物であれば著者と読者との間にある程度の距離が存在するため、著者の勢いや先入観に飲み込まれる危険性が低く、各自の独自な思考が作りやすいからです。思考の多様性は人類の大きな財産であり、生成AIによって均質な思考が蔓延するのであれば人類にとっての損失になる可能性があります。 

    一方で私はデジタル化の進展は高く評価しています。例えば生成AIに見られるような強力なパターン抽出能力は非常に強力であり、巨大なデータから必要な情報を抽出できるのは大きな利点です。またデジタル化にかかわるアルゴリズムは生成AIにとどまらず多数存在します。例えば私がよく利用するMathematicaというプログラムは既に40年近くも開発が継続されている巨大なプログラムであり、代数的に構築されたプログラムなので生成AIにありがちな間違いはなく、極めて正確に各種の計算を行います。今後の社会において各種のアルゴリズムが組み合わせることにより、生産性の大幅な向上がもたらされると考えています。

    教育におけるAIの活用について

    最後にプロの物理学者が担っているもう一つの使命、すなわち教育におけるAIの活用についてもうかがいました。

    大学の専門教育においては、今のところはAIの活用は補助的な範囲にとどまると思います。例えば大学教育における典型的な単純作業として採点業務があります。しかし採点というのは典型的な人事評価であり、学生さんの側から抗議を受けることもしばしばです。その際にはクラス全体の答案の様子をすべて理解した上で、該当する学生さんの答案のどこに問題があったのかを教員側がきちんと理解していないと、相手の学生さんが納得できる返答ができません。また部分点の与え方にも各教員の研究者としての知見が色濃く出る場面であり、当然講義の内容とシンクロしてきます。教育とはそういった人間臭い世界であり、学生さんがなるべく不満をためないような配慮など、AIには困難な部分が多いと思います。また以前のブログ記事でもAI教育の問題点を指摘しました。私の教員歴は既にかなり長いですが、実際に教育には人間による介入が不可欠であることを感じています。

    今回坂本先生にプロの研究者としての視線でコメントをいただいたことにより、ネットの情報ではなかなか知ることのできない知見を得ることができました。機会があればまた別の研究者の方にもインタビューさせていただき、様々な見解を聞くことができればと思います。
    今回の試験的な課題においては、「現状のo1 proでは、このレベルの専門問題は解決が難しい」という結果になりました。


    結論:月3万円の価値はあるか?

    o1 proは確かに高性能で、従来の生成AIより優れている面もあるようです。ホワイトカラー業務の一部や、いわゆる「ミドルレンジのタスク」を置き換えるには一定の効果が期待できるかもしれません。
    しかし、量子力学のような高度な専門分野で「研究者の頭脳」を補完・代替するには、まだ課題が残っているのが現状です。月額3万円というコストを個人の研究者が負担する意義があるかと問われれば、現段階では疑問も残ります。


    まとめ

    今回の坂本先生とのインタビューを通して得られた暫定的な結論としては、
    「o1 pro は既存情報の整理や一般的な補助には使えるものの、まだまだ一部の高度専門分野の難問解決には対応しきれない」
    ということになります。ただし、これはあくまで特定の量子力学課題という一例から得られた評価です。さらなる検証や技術発展によって、状況が変わる可能性は十分にあります。

    今後、o3など新しいモデルが登場してくるなかで、本当に新しい研究をどこまでAIが担えるようになるのか。引き続き、その進化を見守っていきたいと思います。

    謝辞

    最後になりましたが、今回のインタビュー企画にご協力いただいた坂本先生に心よりお礼申し上げます。事前の打ち合わせを快くお引き受けくださり、また取材内容や追加のご質問に対してもメール等で大変丁寧にご対応いただきました。
    こちらの不慣れな点にも温かく対応して頂き、大変心強く感じました。
    先生の深いご見識に加え、ご配慮あふれるお人柄のおかげで、専門家の視点からたいへん有意義なお話を伺うことができました。
    お忙しい中、貴重なお時間を割いていただいたことに、改めて感謝いたします。本当にありがとうございました。


     
     

    Nero

     
     
    Aimsales株式会社代表|東京AI祭 主催 |東大松尾研アントレ教育MACC所属|MS ,Google for Startup|元 Stability AI Japan|理科大4年(復学!!) コード書くのとAI触るのと営業など

    あなたへのおすすめ