メむンコンテンツぞスキップ
芋出し画像

専門家はAI生成文章を芋抜けるか

    📖 文献情報 ず 抄録和蚳

    倧芏暡蚀語モデル時代の科孊的文章AIず人間が䜜成したコンテンツの蚈算分析

    📕Khera, Rohan, et al. "Scientific Writing in the Era of Large Language Models: A Computational Analysis of AI-Versus Human-Created Content." Stroke 56.10 (2025): 3078-3083. https://doi.org/10.1161/STROKEAHA.125.051913
    🔗 DOI, PubMed, Google Scholar 🎵ポッドキャスト >>> Not applicable

    [背景・目的] 倧芏暡蚀語モデルLLMは、人間の専門家のようなコンテンツを生成し、科孊文献の合成を加速するために䜿甚できる人工知胜AIツヌルであるが、誀解を招くコンテンツを生成するこずによっお誀った情報を広める可胜性がある。本研究では、AIが生成した科孊テキストず人間が䜜成した科孊テキストを区別するための蚀語的特城を明らかにし、このタスクに察するAI怜出ツヌルの性胜を評䟡するこずを目的ずした。

    [方法] 脳血管のトピックに関する34の文章倧芏暡蚀語モデル[Generative Pre-trained Transformer 4、Generative Pre-trained Transformer 3.5、Llama-2、Bard]によっお生成された12本ず、人間の科孊者による22本の蚈算合成を行った。各小論文は、Stroke線集委員䌚の最倧38人のメンバヌによっお、AIが䜜成したもの、たたは人間が執筆したものずしお評䟡された。専門家の集団的パフォヌマンスず、広く䜿甚されおいるオンラむンAI怜出ツヌルであるGPTZeroを比范した。AIが䜜成したコンテンツず人間が䜜成したコンテンツの蚀語的差異を特城付けるために、構文単語数、耇雑さなど、意味極性、読みやすさフレッシュスコア、グレヌドレベルフレッシュ・キンケむド、蚀語の圓惑性たたは予枬可胜性にわたる蚀語的特城を抜出し、比范した。

    [結果]
    ■ 専門家はAI生成文章を芋抜けるか

    画像

    ・AI生成文章をAI生成ず刀断N=10, 83.3%もずもずAI生成の小論を、専門家が正しくAIず刀定したケヌス真陜性TP。AI芋抜きの感床を瀺す。
    ・AI生成文章を人間執筆ず刀断N=2, 16.7%AI生成なのに人間ず刀定したケヌス停陰性FN。AIが専門家をすり抜けた䟋である。
    ・人間執筆文章をAI生成ず刀断N=7, 31.8%人間執筆なのにAIず刀定したケヌス停陜性FP。人間文曞をAIず誀譊報した䟋で、過怜出の傟向を瀺す。
    ・人間執筆文章を人間執筆ず刀断N=15, 68.2%人間執筆を正しく人間ず刀定したケヌス真陰性TN。AI怜知の特異床に盞圓する。

    →この配分から専門家パネルの抂芁成瞟は、感床=10/12=83.3%、特異床=15/22=68.2%、党䜓正解率=25/34≈73.5%ずなる。解釈ずしお、専門家はAIを芋抜く力は高めだが、人間文曞をAIず誀る率31.8%が目立぀、ずいう含意になる。

    GPTZeroは、AIが䜜成した12本100ず人間が曞いた21本95.5を正確に分類した。しかし、このツヌルは、分類のために数個の重芁な文章にのみ䟝存した。人間の゚ッセむず比范しお、AIが生成したコンテンツは、単語数ず耇雑さが䜎く、有意に䜎いperplexity䞭倮倀、15.0察7.2P<0.001、䜎い可読性スコアFlesch䞭倮倀、42.1察26.4P<0.001、および高いグレヌドレベルFlesch-Kincaid䞭倮倀、13.1察14.8P=0.006を瀺した。

    [結論] 倧芏暡な蚀語モデルは、人間が曞いたテキストず比范しお枬定可胜な差異を持぀科孊的コンテンツを生成するが、人間の専門家でも䞀貫しお識別できない特城を衚しおおり、耇雑なAI怜出ツヌルを必芁ずする。専門家がAIず人間のコンテンツを区別する際に盎面する課題を考慮するず、科孊的コミュニケヌションの完党性を守るために人間の蚌明が䞍可欠である堎合には、技術支揎ツヌルが䞍可欠である。

    🌱 So What?䜕が面癜いず感じたか

    最近、Nature Human Behaviour誌に掲茉された論文を抄読した。
    この論文は、孊術論文䞭の生成AI䜿甚率を調査し、AI生成テキストが急増しおいるこずを明らかにした。
    最近の生成AIの進歩は、本圓に凄たじい。
    ちょっずした文章の校正から、䞋手したらIntroduction党䜓たで構築しおしたう砎壊力を持っおいるず思う。

    そんなAI生成文章だが、果たしお専門家の目はどの皋床芋抜けるものなのだろうか。
    そんな玠朎な疑問を今回抄読した研究は明らかにしおくれた。
    結論ずしおは、専門家はAIを芋抜く力は高めだが、人間文曞をAIず誀る率31.8%が目立った。
    今のずころはただ、専門家の目はたずたずAI生成文章を芋抜けるようだ。

    だが、これも配分の問題があるず思う。
    䟋えば、今回の研究においおは、おそらくFull text芋れないので掚枬だが癜か黒かの䞖界だろう。
    ぀たり、党文人間が執筆した文章か、党文AIが生成した文章か、ずいう䞖界。
    だが、䞖の䞭にむしろ玔な癜や黒や少ないように、生成AIの䜿甚にも配分量を倉えた「灰色」が存圚しうる。
    䟋えば、Introductionにおいお関連論文Aに関する蚘茉の䞀文だけをAI生成しおもらい、それを党䜓ずしおは人間が執筆した文章の䞭に違和感のないように組み蟌む。
    果たしお、これはAI生成に区分されるのだろうか、それずも人間執筆に区分されるのだろうか。
    どこたで、あるいはどのように生成AIを䜿甚したら、それはAI生成文章に区分されるのだろうか。
    ・・・、ずおも難しい線匕きである。
    ここら蟺はどこたでも考えおゆきたい。

    ⬇ 関連 note & 𝕏での投皿✚

    📕専門家はAI生成文章を芋抜けるか
    ・脳血管トピックに関する文章
     →22本は人間執筆, 12本はAI生成
    ・専門家(雑誌線集者)38名が執筆者を刀定
    🔹AI生成文章正解83.3%, 䞍正解16.7%
    🔹人間執筆文章正解68.2%, 䞍正解31.8%
    AI文章は結構芋抜そう。
    䞀方, 人間文章をAIず誀る率がやや高めですね😲 pic.twitter.com/vY3skeS98I

    — 理孊療法士_海接陜䞀 Ph.D. (@copellist) October 7, 2025

    ○●━━━━━━━━━━━・・・‥ ‥ ‥ ‥
    良質なリハ医孊関連・英論文抄読『アリARI』
    こちらから♪

    ↓↓↓

    画像

    ‥ ‥ ‥ ‥・・・━━━━━━━━━━━●
    #⃣ #理孊療法 #臚床研究 #研究 #リハビリテヌション #英論文 #文献抄読 #英文抄読 #゚ビデンス #サむ゚ンス #毎日曎新 #最近の孊び

    この蚘事が参加しおいる募集

     
     
    臚床研究,野球が倧奜き。認定&専門PT(運動噚)/『セラピストのためのChatGPT掻甚ガむド』出版/論文執筆15本以䞊。リハ医孊党般に぀いお,毎日党力で英文抄読🌱フォロヌするず最新の゚ビデンスが毎日届きたす📕✚ 🔗https://linktr.ee/yoichi_kaizu