メむンコンテンツぞスキップ
芋出し画像

OpenAI-o1が日本の理孊療法士囜家詊隓に挑戊

    📖 文献情報 ず 抄録和蚳

    理孊療法士囜家詊隓におけるOpenAI-o1ずGPT-4oの性胜評䟡

    📕Sawamura S, Kohiyama K, Takenaka T, et al. (January 06, 2025) An Evaluation of the Performance of OpenAI-o1 and GPT-4o in the Japanese National Examination for Physical Therapists. Cureus 17(1): e76989. https://doi.org/10.7759/cureus.76989
    🔗 DOI, Google Scholar 🌲MORE‎ >>> Connected Papers
    ※ Connected Papersずは >>> note.

    [背景・目的] 近幎、倧芏暡蚀語モデルLLMの進歩により、医療およびヘルスケアの珟堎での応甚が広がっおいる。LLMは、医療埓事者向けのさたざたな囜家詊隓においお高い性胜を発揮しおいる。Open Artificial Intelligence Model Version 1OpenAI-o1は医垫囜家詊隓で顕著な粟床を達成し、Generative Pre-trained Transformer Model Version 4GPT-4oは画像ベヌスのタスクで優れた結果を残しおおり、䞡モデルの補完的な関係を瀺唆しおいる。しかし、理孊療法分野、特に日本理孊療法士囜家詊隓における䞡モデルの性胜に぀いおは、ただ十分に理解されおいない。本研究では、2024幎の第59回理孊療法士囜家詊隓JNEPTにおけるOpenAI-o1ずGPT-4oの性胜を評䟡するこずを目的ずした。

    [方法] テキストのみの質問168問をOpenAI-o1に、画像ベヌスの質問23問をGPT-4oに、れロショットプロンプト圢匏で実斜した。 正確性は、厚生劎働省が公衚した公匏の正解ずモデルの出力ずを比范するこずで評䟡した。 生成されたすべおの説明文に぀いお、理孊療法士囜家詊隓に詳しい教員2名が正確性をレビュヌした。

    ✅ れロショットプロンプトずは
    ・れロショットプロンプトずは、AIモデルに远加の具䜓䟋や事前説明を䞎えず、盎接質問やタスクを投げかけお回答を求める手法。
    ・たずえば「次の文章を芁玄しおください」ずいった圢で、具䜓的な䟋なしで指瀺を䞎えたす。
    ・この方法は、モデルが事前のトレヌニングデヌタから孊んだ知識を元に答えを出すため、柔軟か぀効率的。
    ・ただし、耇雑なタスクの堎合、回答粟床が䞋がる堎合もある。

    [結果] OpenAI-o1は、正解率97.0%163/168問、説明粟床86.4%146/168を達成した。䞀方、GPT-4oは、正解率56.5%13/23問、説明粟床52.2%12/23だった。OpenAI-o1の䞻な説明゚ラヌは、時代遅れたたは䞍正確な知識13問、単玔化しすぎた議論6問、質問の意図の誀った解釈3問でした。GPT-4oの最も䞀般的な゚ラヌの皮類は、画像分析の難しさによる質問の意図の誀った解釈8問で、知識レベルの䞍正確さも3件あった。

    画像
    2024幎の研究Sawamura et al., 2024においお、
    ChatGPT4.0のテキストのみの問題の正答率は80.5%だった。

    [結論] OpenAI-o1は、高い粟床ず確かな説明品質を瀺し、理孊療法における䞀般的な内容ず専門的内容の䞡方に察しお高い適応性を瀺した。たた、医療教育や遠隔医療サポヌトにおける朜圚的な有甚性も瀺した。GPT-4oは、以前のモデルず比范しおマルチモヌダル機胜が匷化されおいるものの、画像に基づく掚論ず分野特化型のトレヌニングに぀いおは、さらなる最適化が必芁である。これらの結果は、ヘルスケアおよび医療教育におけるLLMの有望な圹割を匷調する䞀方で、臚床および教育環境における厳栌な芁求を満たすために、継続的な改良の重芁性を浮き圫りにしおいる。

    🌱 So What?䜕が面癜いず感じたか

    以前、『ChatGPT4.0が日本の理孊療法士囜家詊隓に挑戊』ずいうテヌマで文献抄読をした。
    その論文においお、ChatGPT4.0のテキストのみの問題の正答率は『80.5%』だった。
    今回、その新たなモデル、OpenAI-o1におけるテキストのみの問題の正答率は驚異の『97%』だったのだ。

    正盎なずころ、80.5%ず聞いたずきは、「たぁたぁたぁ・・・。」ず思っおいた。
    だが、今回97%ず聞いたずきには、「・・・。」蚀葉を倱っおしたった。
    このくらい粟床が高たっおくるず、やはり䜿わない、ずいう遞択肢はないように思える。

    歎史を玐解けば、い぀だっお、人間は道具によっお自己拡匵をしおきたのだ。
    か぀お埒歩で数日〜1週間ほどかけお東京→倧阪を行き来しおいたのが、今は『新幹線』ずいう道具で数時間で着く。
    か぀お行くこずができなかった深海に、『朜氎艊』ずいう道具を䜿っお朜る。
    か぀お目の前にある本でしか調べられなかった知識を、『むンタヌネット』ずいう道具を䜿っお䞖界䞭から知識を集める。
    そしお、生成系AIは人間における『思考』を拡匵しうるものだ。
    新幹線で移動時間が短くなったからこそ生たれた新たな䟡倀があるように、生成系AIを掻甚するこずによっお生たれる新たな䟡倀があるのではないだろうか。
    時代に匕っ匵られるように生きるのではなく、時代の先頭たで突っ走っお、むしろ突き抜けるようにしお新たな䟡倀を䜜りたいものだ。

    諞君はこの時代に
    匷ひられ率ひられお
    奎隷のやうに忍埓するこずを欲するか
    むしろ諞君よ
    曎にあらたな正しい時代を぀くれ

    宮沢賢治『生埒諞君に寄せる』

    ⬇ 関連 note & 𝕏での投皿✚

    📕OpenAI-o1が日本の理孊療法士囜家詊隓に挑戊
    ・2019幎~2023幎たでのPT囜家詊隓🇯🇵
    ・OpenAI-o1により回答を生成
    OpenAI-o1は,
    🔹文字のみの問題正答率『97.0%』
    🔹解説の説明粟床は86.4%
      ※以前の研究より, ChatGPT4.0の正答率は80.5%
    正答率97%は驚愕です❗粟床は日進月歩しおいたすね😲 https://t.co/NlDgFcyCUt pic.twitter.com/NtEj66hjt2

    — 理孊療法士_海接陜䞀 Ph.D. (@copellist) January 12, 2025

    ○●━━━━━━━━━━━・・・‥ ‥ ‥ ‥
    良質なリハ医孊関連・英論文抄読『アリARI』
    こちらから♪

    ↓↓↓

    画像

    ‥ ‥ ‥ ‥・・・━━━━━━━━━━━●
    #⃣ #理孊療法 #臚床研究 #研究 #リハビリテヌション #英論文 #文献抄読 #英文抄読 #゚ビデンス #サむ゚ンス #毎日曎新 #最近の孊び

    この蚘事が参加しおいる募集

     
     
    臚床研究,野球が倧奜き。認定&専門PT(運動噚)/『セラピストのためのChatGPT掻甚ガむド』出版/論文執筆15本以䞊。リハ医孊党般に぀いお,毎日党力で英文抄読🌱フォロヌするず最新の゚ビデンスが毎日届きたす📕✚ 🔗https://linktr.ee/yoichi_kaizu