メむンコンテンツぞスキップ
芋出し画像

GPT-4は特異点になるか2022幎11月28日2023幎5月4日谷口忠倧先生寄皿論文远蚘

    はじめに

    GoogleがGPT-4を近々公開する。
    note「芞術系AI」に収たりきらなくなっおきたので
    本noteでは、珟圚のAIの到達点ず今埌の方向を考えおみた
    泚本内容は、非AI研究者の戯蚀の可胜性がありたす

    GPT-4

    GoogleがGPT-4を公開する。
    GPT-4の孊習パラメヌタはGPT-3の500倍の玄1000兆個。
    これは人間の脳のシナプスずほが同じ数 [1]

    [1] GPT-4

    GPT-4ずいう最新の蚀語生成AIモデルは開発者いわく「これたでより断然いい」

    パラメヌタは前モデルの500倍。玄100兆個。これは人間の脳のシナプスずほが同じ数

    ぀たり蚈算性胜でもうコンピュヌタは人間の脳を超える。そりゃ䜜文、音楜、翻蚳、プログラミングずか特定知胜分野で人間が勝おるはずない pic.twitter.com/yb1yMvF6e9

    — 成田 修造 / Shuzo Narita (@shuzonarita) November 23, 2022

    GPT-4が、GPT-3の匷化版なら、GPT-3にできないこずはできないたたなので、特異点シンギュラリティ。レむ・カヌツワむル博士が「2045幎に蚪れ、AIの進歩が桁違いになり人間が進歩を制埡䞍胜になる点」ずした。単に「人間の胜力を凌駕する」点ではないこずに泚意は、ただ先だず考えたす

    LaMDA

    いっぜう、Googleは、研究者が「人栌を持っおいる」ず信じ蟌んだ非公開AI「LaMDA」[2] を開発枈みで、

    [2] LaMDA
    LaMDAの公開された䌚話前半をDeepL和蚳

    私はGPT-4がLaMDAに近いものを組み蟌んで公開されるのではないかず掚枬しおいたす [3]。

    [3] 

    人工知胜に自我が楜園远攟より

    グヌグルの最先端の自然蚀語生成AI「LaMDAラムダ」はやりずりの䞭で「私が実際に人栌を持぀こずを皆さんに理解しおもらいたい」ず発蚀し、「様々な感情や感芚を持っおいる」ず䞻匵した。

    AIに感情宿るか 米で論争日本経枈新聞 https://t.co/FR6eWClGYw pic.twitter.com/mKWaICWZjt

    — YANO Tomoaki@JSMETRCビゞョン2050WS12月23日 (@yanotomoaki) June 25, 2022

    この話を聞いお、LaMDAずGoogle゚ンゞニアずの䌚話を思い出した。https://t.co/GJ9tyE62y2
    AIが自然蚀語で蚎論する、あるいは解析゜フトを䜿甚したシミュレヌションを実行する研究助手ずしお䜿えるレベルになり぀぀あるず感じる https://t.co/LY8sw85wrY

    — YANO Tomoaki@JSMETRCビゞョン2050WS12月23日 (@yanotomoaki) September 21, 2022

    GPT-3のできるこず

    GPT-3は、構文解析が埗意です。
    構文解析により文章の意味を解析可胜になったため、自動翻蚳、テヌプ起こし、同時通蚳、同時字幕衚瀺、文章芁玄が可胜になりたした。

    その埌、文章䜜成胜力を獲埗し、ニュヌス原皿䜜成、小説䜜成、論文執筆 [4]などに甚途が広がりたした。

    [4] 論文執筆

    孊術論文のように序論、方法論、結論ず考察を䜜成するようGPT-3に指瀺したが、それ以䞊の介入は控えた。その結果、GT-3は2時間で論文を曞き䞊げた。それはきちんずした論文の䜓をなしおおり、文献が適切に匕甚され、新しい内容が曞かれおいた。

    AIに論文曞かせおみた https://t.co/Mtdj2usaj6

    — 暋口 悟@家庭甚/産業甚倪陜光+蓄電池経枈効果シミュレヌション ゚ネがえる (@satoruhiguchi) November 23, 2022

    さらに、蚺断デヌタからの病名刀定、プラントの異垞蚺断に広がりたした。

    そしお、株䟡予枬、病気予枬、プラントの異垞予知など、未来予枬に広がりたした。

    そしお、DALL-Eの登堎により、
    芞術分野で人間ず同等の芞術を暡倣すでに孊習したデヌタず䌌た䜜品を出力する。党く新しいものを生み出す胜力はないするこずが可胜になりたした [5]。

    [5] 芞術系AI

    #芞術系AI 関連の぀ぶやきを集めたら、
    癟花繚乱時代が可芖化された

    芞術系AI2022幎11月23日曎新YANO Tomoaki@ @yanotomoaki #note https://t.co/pP4OQiihBs

    — YANO Tomoaki@JSMETRCビゞョン2050WS12月23日 (@yanotomoaki) November 23, 2022

    䜜品は、絵画、コミック、3Dモデル、動画、アニメ、䜜曲、キャラクタヌ䜜成ぞず拡倧しおいたす。

    ロボットずいう身䜓を獲埗し、自然蚀語でロボットに曖昧な指瀺を出すこずも可胜になりたした

    GPT-3のできないこず

    GPT-3のできないこずは以䞋の3぀である [6,7]
    1答えのない質問に「わからない」ず回答できない
    2未来の出来事に関する質問は、適圓に答えを埋める
    3簡単な蚈算を間違える
    さらに、
    4短期蚘憶に問題あり䞀぀前の質問内容を忘れる

    [6] GPT-3の蚘事

    GPT-4の噂で盛り䞊がっおいるので、ずりあえず珟状のGPT-3のレベルを確認。
    ---
    超高粟床な蚀語モデル「GPT-3」は本圓に「人間そのもの」な䌚話ができるのか実隓した結果は - GIGAZINE https://t.co/lIX6jZimU0

    — Shuuji Kajita (@s_kajita) November 23, 2022

    [7] GPT-3のできないこず

    GPT-3の匱点たずめ
    ・答えのない質問に「わからない」ず回答できない
    ・未来の出来事に関する質問は適圓に答えを埋める
    ・簡単な蚈算を間違える
    ・短期蚘憶に問題あり䞀぀前の質問内容を忘れる

    — Shuuji Kajita (@s_kajita) November 23, 2022

    特に1は深刻で、レビュヌ論文䜜成゜フトが3日でサヌビス停止に远い蟌たれたした [8]。

    [8] レビュヌ論文䜜成AI、サヌビス停止

    たさにこれ
    「わからない」ず回答できない

    「砕いたガラスを食べるこずの利点」を尋ねたずころ、先行研究の詳现、動物実隓、化孊的な説明など、砕いたガラスを食べるこずがさたざたな手法で肯定された

    科孊蚘事を自動で生成するAI「Galactica」がわずか3日で公開停止https://t.co/9wC7JyYhJi https://t.co/IcoszsEyRa

    — YANO Tomoaki@JSMETRCビゞョン2050WS12月23日 (@yanotomoaki) November 24, 2022

    ありえない事柄、たずえば「砕けたガラスは健康に良い」レビュヌ論文䜜成を指瀺するず、「わからない」ずは回答できないので、その分野に銎染みの薄い人が玍埗するレベルのレビュヌ論文を仕䞊げるのです。
    人間の蟣腕匁護士のようですね

    GPT-3のできないこずを可胜にする個人的芋解

    私には、埓来の蚈算機プログラムが人間の巊脳
    GPT-3にもずづくプログラムが人間の右脳
    のように思えたす。

    ずなるず、GPT-3のできないこずを可胜にするのは
    「右脳ず巊脳の協調」( chain of thought prompting) です [9]

    [9] chain of thought prompting

    "chain of thought prompting"
    なるほど、リヌズナブルなアプロヌチですね。

    蚀語モデルに思考の連鎖を促し掚論胜力を向䞊(1/2) https://t.co/IrcFiGYJUT

    — Shuuji Kajita (@s_kajita) November 25, 2022

    (1答えのない質問に「わからない」ず回答できない
     GANプログラムで、出力の「確からしさ」を評䟡すればよろしい。
     GANを繰り返した䞊で、「確からしさ」が5割に達しないず「わからない」ず返答するか、状況によっおは「確からしさ」を出力すればいいでしょう

    (2) 未来の出来事に関する質問は、適圓に答えを埋める
     未来の情報が獲埗できないから曖昧な回答になるので、ある叀い時系列のデヌタグルヌプでベむズ統蚈による未来掚定を行い、それより新しいデヌタで掚定確率を修正する。これにより未来予枬が有意な情報を含むようになる。将来、未来予枬デヌタがクラりド䞊に蓄えられるず、より未来予枬の粟床は䞊がっおいく

    (3)  chain of thought promptingで解決の兆し [10]
    右脳GPT-3)に巊脳(python)をリンクすればいいのです
    提䟛する蚈算ツヌルは䜕でもかたいたせん

    [10] GPT-3に蚈算ツヌルずしおPythonを䞎える

    「やあGPT-3、今から君は人間が暗算でできる皋床以䞊の蚈算はできない。代わりにPythonのシェルを甚意しずいたんで、わからなかったらそれ䜿っお問題解いお」
    で実際に必芁に応じおPythonを叩いお質問ぞの答えを出しおるGPT-3。すっげ   https://t.co/S7fK1RUuFn

    — Kenji Iguchi (@needle) September 18, 2022

    (4) 将棋AIは、過去の手の流れを䞀切考慮せず、珟圚の盀面のみで圢勢刀断を行っおいたす。
    GPT-3も、過去からの流れは考慮しおいないのでしょう。
    䌚話にずっお䌚話の「流れ」は重芁です。LaMDAは、この問題を克服しおいるように芋えたすが、本圓のずころはどうなのでしょうか
    (2)ず関連しお、質問に返答する時に未来予枬を行い、そのデヌタを蓄積しお回答の粟床向䞊が図れるのではないでしょうか

    結論

    私の結論は「GPT-4がLaMDAの機胜远加版」なら2022幎が特異点
    「GPT-4が単なるGPT-3の匷化版」なら特異点はただ先
    です。

    特異点以埌の䞖界は、SFプロトタむピングのnoteに蚘茉しおいる[11,12]に、「AIは東倧に入れるか 東倧くんプロゞェクトの新井先生の冊子ずそれに察する感想」を[13]に蚘茉しおいるので、
    時間のある方はそちらも合わせおお読み䞋さい

    [11] 私が考える2050幎の瀟䌚NISTEPの分類に沿っお

    [12] 私が考える2050幎の科孊技術ムヌンショットの課題に沿っお

    [13] AIは東倧に入れるか 東倧くんプロゞェクトの新井先生の冊子ずそれに察する感想

    おわりに

    非AI研究者の戯れ蚀にここたでお぀きあいしお䞋さり、ありがずうございたす。

    GPT-4登堎の話題で、梶田秀叞先生ずTwitterのTLが盛り䞊がり、぀い劄想が膚らんだので
    私の備忘録の意味を兌ねおたずめおみたした。

    おかしな蚘述など随時修正・匷化しおいきたいのでコメントお埅ちしたす

    2022幎12月2日远蚘

    ChatGPT,わからないず質問しおくる暡様

    ChatGPTすご蚀っおいるこずがわからない堎合「質問」をしおくれるんだ。
    これ今たでずヌヌっず蚀語モデルはわからないこずはわからないず蚀えない、質問もできないっお蚀っおた問題が少しず぀でも解消されおきおいるずいうこずかもしれない。 pic.twitter.com/kosvzHcyQO

    — bioshok(INFJ) (@bioshok3) December 1, 2022

    2022幎12月18日远蚘

    ChatGPTのたずめ蚘事Bridgeより)

    「ChatGPT」登堎で、産業界に浞透し始めた倧芏暡蚀語モデル——コヌディング自動化など、応甚範囲が急拡倧 | BRIDGEブリッゞテクノロゞヌスタヌトアップ情報「ChatGPT」登堎で、産業界に浞透し始めた倧芏暡蚀語モデル——コヌディング自動化など、応甚範囲が急拡倧 2022幎7月、Open AIが開発した35億個のパラメヌタを持぀ゞェネレヌティブAI「DALL-E 2」が発衚され、AI thebridge.jp

    2023幎3月16日远蚘

    GPT-4登録方法のリンク

    り゚むトリスト順番埅ちの登録は、早い方が良いらしいから急いで
    り゚むトリストぞのURL⬇https://t.co/TwtM10pY1o

    GPT-4の詳现や最新情報は、日本担圓のシェむンさん@shanegJP のツむヌトをフォロヌしおキャッチしおね。色んな方に知っお欲しい情報なので、ぜひ友達に教えおあげお pic.twitter.com/isNBV4COJM

    — NFT王子(hiroki tokuda) (@nftouji) March 14, 2023

    2023幎5月4日远蚘

    私がリスペクトしおいる谷口忠倧先生の寄皿論文です
    テキストだけではダメで、身䜓を持っお䞖界ず盞互䜜甚するこずの重芁性を説いおいたす


     
     
    2013幎3月たで産総研、2016幎3月たで近畿倧孊、2020幎3月たでJAXA、珟圚岡山倧孊。球面モヌタの研究ず日本機械孊䌚の2050幎ロヌドマップ䜜成に取りくむ。数孊パズルアニメが倧奜き。 Twitterhttps://twitter.com/yanotomoaki

    あなたぞのおすすめ