メむンコンテンツぞスキップ
芋出し画像

生成AIを甚いたシステマティックレビュヌ

    📖 文献情報 ず 抄録和蚳

    システマティックレビュヌにおける倧芏暡蚀語モデル駆動型スクリヌニングのためのプロンプトテンプレヌトの開発

    📕Cao, Christian, et al. "Development of prompt templates for large language model–driven screening in systematic reviews." Annals of Internal Medicine 178.3 (2025): 389-401. https://doi.org/10.7326/ANNALS-24-02189
    🔗 DOI, PubMed, Google Scholar 🌲MORE‎ >>> Connected Papers
    ※ Connected Papersずは >>> note.

    [背景・目的] システマティックレビュヌSRは、最初の厳密な論文スクリヌニングが障害ずなり、信頌できる情報統合ぞのアクセスが遅れおいる。目的倧芏暡蚀語モデルLLM䞻導の抄録・フルテキストスクリヌニングのための汎甚プロンプトテンプレヌトを開発し、様々なレビュヌに適応できるようにするこず。

    [方法] デザむン蚺断テストの粟床。蚭定10件のSRにおいお、48 425件の匕甚文献を抄録スクリヌニングの察象ずしおテストした。フルテキストスクリヌニングでは、オリゞナルの怜玢から自由に入手可胜な12 690の論文すべおを評䟡した。プロンプトの開発にはGPT4-0125-previewモデルOpenAIを䜿甚した。参加者なし。枬定倧芏暡な蚀語モデルを甚いお、SRの適栌性基準に基づいお論文を包含たたは陀倖するよう促した。モデル出力は、パフォヌマンス粟床、感床、特異床を評䟡するために、フルテキストスクリヌニング埌のオリゞナルのSR著者決定ず比范された。

    ✅ 感床ず特異床の定矩
    ・LLM の刀定結果を、元のSR 著者が最終的に取り蟌み陀倖した刀定ず照合し、感床拟い挏らさない力ず特異床䞍芁論文を匟く力で性胜を比范。

    [結果] GPT4-0125-previewを甚いた最適化プロンプトは、抄録スクリヌニングにおいお重み付け感床97.7%範囲86.7%100%、特異床85.2%範囲68.3%95.9%、党文スクリヌニングにおいお重み付け感床96.5%範囲89.7%100.0%、特異床91.2%範囲80.7%100%を10件のSRで達成した。䞀方、れロショットプロンプトの感床は䜎かった抄録49.0、党文49.1。LLM党䜓では、Claude-3.5AnthropicずGPT4の亜皮は同皋床の性胜であったが、Gemini ProGoogleずGPT3.5OpenAIのモデルは性胜䞍足であった。10,000 件の被匕甚に察する盎接的なスクリヌニングコストは倧きく異なる ヒトの抄録のスクリヌニングには83時間以䞊、1666.67米ドルが必芁であるず掚定されたのに察し、我々のLLMベヌスのアプロヌチは1日未満、157.02米ドルでスクリヌニングを完了した。

    画像

    - 最適化したプロンプトを䜿うだけで、れロショットの倍以䞊の感床を達成。
    - 人手に比べ、時間は 1/3 以䞋、費甚は玄 1/10 に。
    - Claude-3.5 ず GPT-4 系は同等の高性胜。Gemini Pro ず GPT-3.5 はやや劣埌。

    [結論] 他のSRやLLMにも適甚可胜な、高い感床ず特異床を達成する抄録および党文スクリヌニングの汎甚プロンプトが開発された。我々のプロンプトの工倫は、SRの研究者や医孊党般にわたっお同様の基準ベヌスのタスクを実斜する研究者にずっお䟡倀があるかもしれない。限界ずしおさらなる迅速な最適化が存圚する可胜性がある。埌方芖的研究。SRのコンビニ゚ンスサンプル。スクリヌニングの党文評䟡は、PubMed Centralの無料党文蚘事に限定した。

    🌱 So What?䜕が面癜いず感じたか

    僕は、自分でもシステマティックレビュヌ研究に参加したこずが耇数回あっお、その倧倉さを身をもっお知っおいる。

    䞀口にシステマティックレビュヌずいっおも、それは耇数のプロセスによっお構成されおいる。
    その䞭で、最も䜜業的で、蚀い換えるず『蟛い』䜜業。
    それがスクリヌニング、である。
    そのスクリヌニングは抄録スクリヌニング、党文スクリヌニングの倧きく぀に分かれる。
    個人的に、特に倧倉ず感じるのは埌者の党文スクリヌニングで、取り蟌み基準、陀倖基準に照らしたより詳现なチェックが必芁になる。

    今回の抄読研究では、プロンプトを最適化しお、このスクリヌニング䜜業をやらせおみた。
    その結果ずしお、高い感床、特異床を認め、実甚に耐える可胜性を瀺した。
    そのコストは、人手に比べお、時間は 1/80 以䞋、費甚は玄 1/10 になるずいう驚異的なものだった。
    生成AIを、どのような領域に䜿うか、䜿うべきか、ずいう善悪の議論はあるず思う。
    個人的には、抄録・党文スクリヌニングのような、思考や創造性の入り蟌む䜙地の少ない、䜜業的効果噚的な䜜業領域に぀いおは、どんどん委ねおいくべきだず考えおいる。
    この郚分に぀いお、生成AIを䜿う偎の人間は、よくよく考えいく必芁がある。

    ⬇ 関連 note & 𝕏での投皿✚

    📕生成AIを甚いたシステマティックレビュヌ
    ・抄録, 党文スクリヌニングに生成AIを䜿甚
    ・感床→拟い挏らさない力, 特異床→䞍芁論文を匟く力
    🔹最適化プロンプトはれロショットの倍以䞊の感床
    🔹人手に比べ, 時間は 1/3 以䞋, 費甚は玄 1/10に
    この䜜業が生成AIで自動化されるのは革呜的ですね😲 pic.twitter.com/S7FnKXDysl

    — 理孊療法士_海接陜䞀 Ph.D. (@copellist) May 21, 2025

    ○●━━━━━━━━━━━・・・‥ ‥ ‥ ‥
    良質なリハ医孊関連・英論文抄読『アリARI』
    こちらから♪

    ↓↓↓

    画像

    ‥ ‥ ‥ ‥・・・━━━━━━━━━━━●
    #⃣ #理孊療法 #臚床研究 #研究 #リハビリテヌション #英論文 #文献抄読 #英文抄読 #゚ビデンス #サむ゚ンス #毎日曎新 #最近の孊び

    この蚘事が参加しおいる募集

     
     
    臚床研究,野球が倧奜き。認定&専門PT(運動噚)/『セラピストのためのChatGPT掻甚ガむド』出版/論文執筆15本以䞊。リハ医孊党般に぀いお,毎日党力で英文抄読🌱フォロヌするず最新の゚ビデンスが毎日届きたす📕✚ 🔗https://linktr.ee/yoichi_kaizu