メインコンテンツへスキップ
見出し画像

AIの誤答で正解を消した医師5.2%。私の外来にも罠は来ていた

    **この記事は、2026年8月22日にXで公開した記事の転載です。**Xにログインしていなくても読めるよう、noteにも置きました。本文は公開当時のままです。「今年の3月」「5か月」は8月22日から見た時期です。

    ベテラン100%が騙された。 1990年代の航空実験で見つかった「オートメーション・バイアス」という心理の罠が、30年の時を超えて、AIとともに私の外来へやってきました。AIの誤った助言で、正解を不正解に書き換えた医師は5.2%。これは患者さんだけの話ではありません。

    この記事で得られるもの

    • AIの答えを信じすぎてしまう心理「オートメーション・バイアス」の正体

    • パイロットの100%が偽警報に従った実験と、医師5.2%が答えを書き換えたデータ

    • 明日の外来・診察室から使える「AI指導」の言葉

    • コピペで使える、AIに医療情報を聞くときの安全プロンプト4つ

    第1章 患者さんが「AIる」ようになった

    今年の3月、外来でのことです。

    毎月通院してくれているかかりつけの患者さんが、診察の途中でこう言いました。

    「素人考えですが、今の症状にこの薬は効きませんか? AIで調べたら『有効』って言われて」

    私は、その一言を聞いた瞬間、内心「あ、来たな」と思いました。

    話を聞くと、気になる症状や薬があると、生成AIに聞くのが日常になっているとのこと。 「ググる」じゃなくて「AIる(エイる)」。 この言葉を患者さんが自然に使っていたのが、強く印象に残っています。

    ネット検索で見つけた情報を持って「自己診断」してくる患者さんは、以前からいました。それ自体は珍しいことではありません。

    でも、検索がAIに置き換わると、話の質が変わってきます。

    その理由は第3章で書きます。

    先に、もうひとつのエピソードを聞いてください。

    第2章 夜の救急外来に「AIの診断」がやってきた

    別の日の、夜間の救急外来でのことです。

    80代前半の男性患者さんが受診されました。主訴は、唇の腫れ。

    驚いたのは、その方が持参されたものです。 AI(Copilot)に自分の症状を入力し、「クインケ浮腫(血管性浮腫)では?」という回答を得て、その結果をプリントアウトして持ってこられたのです。

    80代の患者さんが、AIに症状を聞き、紙に印刷して、夜の救急外来に持ってくる。

    もう「AIる」は、若い世代だけの行動ではありません。

    診察の結果、私はクインケ浮腫とは考えにくいと判断し、そのことを含めて患者さんに説明しました。

    正直に言うと、少し感心もしました。的外れな推測ではなかったからです。

    症状の入力から、それらしい病名の候補にたどり着く。 AIの回答の精度は、確かに上がっています。

    でも同時に、あらためて感じたことがあります。

    医療知識のない一般の方は、AIが出した「診断」を、そのまま信頼しやすい。

    プリントアウトして持ってくるという行動そのものが、その信頼の強さを物語っています。 紙に印刷した時点で、その方の中でAIの回答は「調べた結果」ではなく「診断書に近い何か」になっていたのだと思います。

    第3章 ネット検索とAIは、危うさの質が違う

    ネット検索の場合、「嘘か本当かわからない情報が混在している」ことは、多くの人がなんとなく知っています。 だから「一応、先生に確認してみよう」という感覚で受け取る人も多い。

    でも、AIの回答は違います。

    流暢で、論理的で、自信に満ちた文体で返ってくる。

    しかも、患者さんが「この薬は効きますか?」と聞けば、AIはその前提に乗っかって答えを返しやすい。

    思い込みや勘違いにも、AIが話をうまく合わせてしまう。あたかも根拠のある情報のように。

    多くの人はAIに役割設定などせず、ネット検索の延長で「〜について調べて」「〜とはなんですか」と使っています。 **「ハルシネーション(AIが事実と異なる情報を自信満々に生成する問題)」**は、まだ解決されていません。 ユーザーの疑問に、もっともらしい裏付けを与えてしまう。

    ここまでは、3月に書いた元の記事でも指摘したことです。

    https://t.co/wPRLcCNjpC

    — Dr.はにまる|院長のAI実験室 (@hanimaru_draix) March 6, 2026

    でもあのとき、私はこの現象を「まずいと思う」という感覚でしか語れませんでした。

    その感覚に「名前」がついたのは、記事を公開したあと。

    リプ欄でのことでした。

    第4章 リプ欄で、この心理の「名前」を教わった

    元の記事に、医療AIガバナンスに取り組む大田原正幸さん(@cursorvers)からリプをいただきました。

    『オートメーション・バイアス』 AIや自動化システムが出した提案を過剰に信頼し、人間自身の判断や矛盾する情報を無意識に無視・軽視してしまう心理傾向そして、過不足のない適切なコンテキストを読ませていない、無料チャッピーか、Claude Fable 5か、OpenEvidenceなのかも分からないAIに診断を委ね、投薬の推しを患者が訊き、それを担当医にぶつけてくる我々が戦っていかなければならないのは、ココです

    オートメーション・バイアス

    私が外来で感じていた「あの感じ」には、ちゃんと名前がありました。 しかも、AIが登場するずっと前から研究されてきた、由緒ある心理の罠だったのです。

    大田原さんの指摘には、もうひとつ見逃せない点があります。

    「どのAIに、どんな情報を読ませて出てきた答えなのかすら分からない」という問題です。

    無料のチャットAIなのか、最新の高性能モデルなのか、医療文献に特化したツールなのか。同じ質問でも、聞くAIと聞き方で答えは大きく変わります。 ところが患者さんが持ってくるのは「AIがこう言った」という結果だけ。 前提条件がすべて抜け落ちた状態で、答えだけが診察室にやってくる。

    この視点は、あとで書く「AI指導」の中身に直結します。

    まずは、オートメーション・バイアスの正体を掘り下げましょう。

    調べてみたら、想像以上に衝撃的な実験結果が出てきました。

    第5章 ベテランパイロットの100%が騙された

    オートメーション・バイアスの研究の出発点は、医療ではなく航空業界でした。

    1990年代の後半、Mosier(モジャー)とSkitka(スキットカ)らの研究チームが、飛行シミュレーターを使った実験を行いました。

    対象は、経験豊富な現役パイロットたちです。

    実験には、こんな仕掛けがありました。 計器が「エンジン火災」の偽警報を出す。ただし、他の計器類を確認すれば、実際には火災が起きていないと分かるようになっている。

    結果は衝撃的でした。

    参加したパイロットの100%が、他の計器を確認せず、偽警報に従って正常なエンジンを停止させたのです。

    逆のパターンもありました。

    本当は対処が必要な状況なのに、警報が鳴らない。 すると、55%のケースでパイロットは異常を見逃しました。

    研究チームはこの現象を、次のように定義しています。

    「注意深く情報を探し、確かめるという本来のプロセスの代わりに、自動化された答えを近道として使ってしまう傾向」

    つまりオートメーション・バイアスとは、機械の答えを信じる話である以上に、自分で確かめる手間を、機械に肩代わりさせてしまう話なのです。

    そしてこの実験には、もうひとつ怖い発見がありました。

    飛行経験が長いパイロットほど、自動化の誤りを見抜けなかった。

    長年システムと一緒に働き、その正確さを信頼してきたベテランほど、疑うことをやめてしまう。 「経験があれば大丈夫」とは言えない。むしろ経験が、罠を深くすることがある。

    30年前の航空業界の話だと思いますか?

    私には、生成AIを使い込んでいる今の私たち自身の話に聞こえました。

    第6章 医師も5.2%が、正解を書き換えていた

    「でも、それはパイロットの話でしょう。医療は違う」

    そう思いたいところですが、医療分野のデータもあります。

    医療情報学の専門誌JAMIAに掲載された系統的レビュー(Goddard 2012)によると、診療を支援するコンピュータシステムの利用場面で、オートメーション・バイアスによる誤りは6〜11%のケースで発生していました。

    処方判断を対象にした実験研究(Goddard 2014)では、もう一歩踏み込んだ結果が出ています。

    最初は正しい判断をしていたのに、システムの誤った助言を受けて、正解を不正解に書き換えてしまった医師の判断が、全体の5.2%あった。

    自分で出した正解を、機械の誤答で上書きする。 これがオートメーション・バイアスの怖さの核心です。

    この研究には、航空実験と対になる発見もありました。 処方の実験では、臨床経験が浅い人ほど、助言に引きずられて答えを書き換えやすかったのです。

    整理すると、こうなります。

    • ベテランは「システムへの信頼の蓄積」で騙される

    • 経験の浅い人は「自分の判断への自信のなさ」で引きずられる

    つまり、経験年数にかかわらず、誰にでも入り口があるということです。

    患者さんの「AIる」を心配していた私自身が、診療でAIを使うとき、同じ罠の入り口に立っている。 これを知らずに「AIが言ってたから」と判断の材料にするのは、プリントアウトを持って救急外来に来られたあの患者さんと、構造としては同じです。

    だからこの問題は、「患者さんへの注意喚起」では終わりません。

    AIを使うすべての人の、リテラシーの問題なのです。

    第7章 「質問が鋭くなる時代」から逃げない

    ここで、もうひとつのリプを紹介させてください。医師で市民開発者のミツノワさん(@mitsunowa_X)からいただいた視点です。

    これ、恐ろしいのが 「ガイドライン準拠のAI」が登場したら、純粋な知識格差がなくなること。 検査前確率とかの議論はあるにしても、質問の鋭さが増してくる。

    これは大事な指摘です。

    AIの精度は上がり続けます。 クインケ浮腫の患者さんの例のように、「的外れとは言えない推測」は今後もっと増える。

    医師と患者さんの間にあった知識の差は、確実に縮まっていきます。

    つまり、「AIる」患者さんを困った存在として扱う発想には、未来がありません。

    質問が鋭くなるなら、それに応えられる外来をつくればいい。 患者さんがAIと対話してから来る時代を前提に、診察室での会話を設計し直す。

    そのための具体策が、私の考える「AI指導」です。

    第8章 明日から始める「AI指導」の中身

    これからの外来診療では、生活指導・服薬指導に加えて、「AI指導」が必要になる。3月の記事でそう書きました。

    今回はその中身を、具体的な言葉とプロンプトに落とし込みます。

    患者さんに伝える3つの言葉

    私が診察室で使おうと考えている伝え方です。 禁止ではなく、使い方の合意をつくる言葉を選んでいます。

    1. 「AIで調べたことは、隠さず教えてください」 患者さんがAIの回答を隠すようになるのが、一番危険です。「言ったら怒られるかな」と思わせた時点で、診察室の情報が欠けます。今日の話のように教えてもらえたら、一緒に検討できます。

    2. 「AIの答えは『よくできた一般論』です。あなた専用ではありません」 AIは、その人の腎機能も、飲んでいる薬の組み合わせも、これまでの経過も知りません。一般論としての正しさと、目の前のあなたに当てはまるかは、別の問題です。

    3. 「最終確認は、私の仕事です。遠慮なく持ってきてください」 AIを入り口に使うのは構わない。ただし出口は診察室にしてほしい。この役割分担を、言葉にして共有します。

    コピペで使える安全プロンプト4つ

    読者のみなさん(患者さんの立場でAIに聞く方も、医療者も)が、そのまま使えるプロンプトです。 オートメーション・バイアスへの対抗策は、突き詰めると「AI自身に、疑う材料を出させること」です。

    ① 逆張りチェック(回答をもらった直後に追加で送る)

    いまの回答について、反対の見方や当てはまらないケースを挙げてください。

    そのうえで、医療機関を受診して医師に確認すべきポイントを3つ教えてください。

    ② 前提外し(自分の思い込みを疑わせる)

    私は「この症状には〇〇が合っている」と考えていますが、その前提をいったん疑ってください。

    別の見方と、この情報だけでは判断できない理由を教えてください。

    ③ 出典確認(もっともらしさを剥がす)

    いまの回答の根拠を、公的機関や学会など確認できる情報源の名前つきで示してください。

    根拠を示せない部分は、「根拠不明」と正直に書いてください。

    ④ 誤りパターンの先出し(医療者向け・AIに相談する前に)

    これから臨床に関する質問をします。回答の前に、この種の質問であなたが誤りやすい

    パターンを3つ挙げてください。そのうえで回答し、どのパターンに該当しうるかを

    最後に自己点検してください。

    ポイントは、どのプロンプトも「AIを使うな」ではないことです。

    パイロットの実験が教えてくれたのは、「他の計器を見る」という一手間が抜けることの怖さでした。 この4つは、その一手間をAIとの対話の中に埋め込む道具です。

    そして忘れてはいけないのは、これらのプロンプトを使っても、AIの回答は受診の代わりにはならないということ。 体調に関わる判断の出口は、必ず診察室にしてください。 これは記事全体を通じた、私からのお願いです。

    第9章 それでも私は「一緒に考える未来」に賭けたい

    最後に、3つめのリプを紹介します。ハトムギさん(@hatomugi_note)の言葉です。

    AIで調べて「この薬が効きそう」と患者さん自身が判断するのは、やはり危ういと思う。 一方で私が期待しているのは、検証された遺伝子検査の結果から、効きやすい薬や副作用の傾向を、医師と一緒に考えられる未来です。 そういう時代が来たらいいなぁ。

    「医師と一緒に考えられる未来」。

    私はこの言葉に、この記事の着地点をもらいました。

    オートメーション・バイアスの研究が教えているのは、「機械を信じるな」ではありません。 人間には確認を省きたくなる性質がある。だから、確認の手間を仕組みに埋め込もう。そういう話です。

    患者さんがAIで調べてくることも、同じです。 止めることはできないし、止める必要もない。 必要なのは、AIの答えを診察室に持ち込んでもらい、前提条件を一緒に確かめ、その人専用の判断に翻訳する場所です。

    それは、医師にしかできない仕事だと私は思っています。

    「AIがこの薬が効くと答えた」と患者さんが言い始めた日。 あの日私が感じた「まずい」という直感は、5か月かけて、「ならば外来をこう変えよう」という設計図に変わりました。

    変えてくれたのは、データと、読者のみなさんのリプです。

    おわりに(謝辞)

    この記事は、3月に公開した記事へのリプがきっかけで生まれました。

    「オートメーション・バイアス」という概念を教えてくださった大田原正幸さん(@cursorvers)、知識格差が縮まる未来という視点をくださったミツノワさん(@mitsunowa_X)、「一緒に考える未来」という着地点をくださったハトムギさん(@hatomugi_note)。お三方に、心からお礼を申し上げます。

    投稿は書いて終わりではなく、リプ欄で育っていく。 それを実感した5か月でした。

    あなたの外来や職場でも、「AIで調べたら〜」という場面はありませんか。 どう対応しているか、リプや引用で教えてください。 医療現場のリアルな声を、これからも集めていきたいと思っています。

    はにまる|医師のAI実験室(@hanimaru_draix) 現役医師×院長として、毎日の診療と経営の中でAIを試しまくる実践記録を発信しています。 うまくいった話も、盛大にコケた話も全部出します。 気になった方は、プロフィールをのぞいてみてください。

    プロンプトを用途別に76本まとめた有料のnoteもあります(第1・2章の12本は無料で読めます)。

    https://note.com/hanimaru_draix/n/ne3bb3133b1cf

    最後までご覧いただきありがとうございました!


    【AIを仕事で使う人のためのオプチャやってます!】

    🎁参加特典🎁

    ■AI活用プロンプト100選
    コピーして、そのまま使えるプロンプト集(スプレッドシート)
    ■Gem20選
    自作Gemの指示文を全文で。Gemが使えなくても、ほかのAIに貼れます
    ■記事執筆Claudeスキル3選
    X記事やnoteの長文を、AIと一緒に仕上げるスキル

    参加はこちらから👇 LINEオープンチャット「Dr.はにまるのAI研究室」

    画像


    AIを試した記録は、Xで毎日書いています。

    Xのプロフィール(@hanimaru_draix)


     
     
    現役医師が、毎日の診療と経営でAIをガンガン実践|Claude・ChatGPT・Gemini・Perplexity・Grokを駆使|独自Skill/Gem/GPTを多数開発|うまくいった話も盛大にコケた話も全て公開|大人の自由研究| くわしくは固定記事へ

    あなたへのおすすめ