メインコンテンツへスキップ
見出し画像

AIの「できました」を信じるのをやめた話

    要約_AIの「できました」を信じるのをやめた話

    AIの「できました」を信じるのをやめた話

    昨日の深夜、公開ボタンを押す直前の記事を、AIのレビューに止められました。

    止めた理由は「100選と銘打っているのに、カテゴリ見出しの個数を合計すると102個になる」。人間の目では何度読んでも気づけなかった矛盾です。

    AIの返事をそのまま資料や記事に貼って、あとから冷や汗をかいたことがある人へ。この記事では、僕がAIの「できました」を信じるのをやめた理由と、信じなくて済む仕組みの作り方を書きます。


    この記事で分かること

    • AI活用の事故が「能力不足」ではなく「検収不足」から起きる理由

    • 僕の環境でAIのミスを実際に止めてきた3つの仕組み(実例つき)

    • 今日から5分で始められる、いちばん小さな「検査」の作り方


    AIは平気な顔で「できました」と言う

    まず、僕の環境で実際に起きた失敗を3つ並べます。どれも実話です。

    失敗1: 日付と金額を「記憶」で書いた。 AIにニュース解説の記事を書かせたときのことです。出来事の時期と金額が、もっともらしく、しかし間違って書かれていました。

    具体例を1つ。「時給60ドルが16ドルに下がった」とAIが書いた数字を原文と照合したら、正しくは「21ドルから16ドル」でした。下落という構図は合っているのに、起点の数字だけ別の話から混入している。文章は流暢なので、読んだだけでは気づけません。

    失敗2: 引用元の名前を勝手に変えた。 提案資料の出典欄で、AIが実在しない調査名をそれらしく「創作」していたことがあります。数字は合っているのに、出どころが嘘になっている。これが一番怖いパターンです。

    失敗3: 「全部直しました」と言って直っていない。 修正指示を出すと「修正しました」と返ってくる。でも確認すると、3箇所のうち1箇所しか直っていない。悪気はない(そもそも悪気という概念がない)からこそ、タチが悪い。

    ここから得た結論はシンプルです。

    AIの申告は、信じるものではなく、検査するものだ。

    そして大事なのは、検査を人間の根性でやらないこと。人間の目視チェックは、疲れていれば抜けるし、深夜2時には機能しません。検査そのものを仕組みにする必要があります。

    仕組み1: 機械検査 — 合否はプログラムに判定させる

    一番強い検査は、AIにもう一度聞くことではなく、プログラムで機械的に判定することです。

    僕の環境の例を挙げます。

    • スライド: 完成したスライドを検査プログラムにかけます。枠からのはみ出し・文字あふれ・必須要素の欠落・配色ルール違反を自動検出し、1件でも引っかかれば「不合格」。直すまで出荷できません

    • リサーチレポート: 検査専任のAIが確認します。すべての主張に出典が繋がっているか。信頼度を勝手に格上げしていないか。悲観シナリオを隠していないか。不合格なら執筆担当に差し戻されます

    • プログラム: AIに書かせたコードは、テスト・セキュリティ検査・性能検査を通らない限り採用されません

    ポイントは、判定基準を「AIの感想」にしないこと。「枠からはみ出しているか」は座標計算で白黒つきます。「出典が存在するか」はリンクを辿れば白黒つきます。白黒つく形に検査を翻訳するのが、人間の仕事です。

    この方式を、僕は「疑わしきは不合格(fail-closed)」と呼んでいます。検査を通らない限り先に進めない。例外なし。「今回だけ目視でいいか」を一度許すと、検査は形骸化します。

    仕組み2: 敵対レビュー — 別のAIに「粗を探して落とせ」と命じる

    機械検査で拾えないもの(論理の飛躍、事実の誤り、誇大表現)は、別のAIにレビューさせます。ここに2つコツがあります。

    コツ1: 「別ベンダー」のAIを使う

    同じAIに自己レビューさせても、自分の思い込みは見つけられません。作った本人だからです。

    そこで僕は、Claude(Anthropic)が作った成果物を、GPT(OpenAI)に検収させています。ベンダーが違えば、学習データも思考の癖も違います。片方の盲点が、もう片方の盲点と重ならない。これを利用した検査です。

    コツ2: 役割を「粗探し」に固定する

    普通にレビューを頼むと、AIは褒めてきます。「全体的によく書けています」は何の情報もありません。

    依頼文を変えます。「あなたは品質ゲートです。この成果物の粗を探し、公開してよいか判定してください。判定は『公開OK/修正後OK/差し戻し』のいずれかで明記すること」。役割を検査官に固定すると、出力が一変します。

    実例: 冒頭の「102個事件」

    昨日の記事(僕がAIにやらせている仕事100選)は、公開前にこの敵対レビューへかけました。返ってきた指摘の1つがこれです。

    内部整合: カテゴリの個数が不一致。全体の連番は100個で正しい一方、最終カテゴリの見出しは「10個」だが実数は8個。カテゴリ表記の合計は102個になる。このまま出すと「全部実測」の信頼を削る。

    僕もAI(書いた本人)も見落としていた矛盾を、別のAIが機械的な数え直しで検出した。修正して再検査にかけ、「公開OK」が出てから公開しました。

    実例: 6回連続で落とされて、開発を凍結した

    もっと大きい話もあります。あるシステムの設計書を、僕はかなりの時間をかけて作り込みました。それを敵対レビューにかけたところ、6回連続で不合格。指摘は毎回具体的で、反論できないものでした。

    最終的に僕はその開発を凍結しました。悔しいですが、これは検査が機能している証拠です。一度も「落ちない」レビューは、レビューではなくセレモニーです。落ちて初めて、通ったものに価値が出ます。

    仕組み3: 失敗をルールに変換する — 同じ事故は二度起こさせない

    検査をすり抜けて事故が起きることも、もちろんあります。そのときにやるのは反省ではなく、ルール化です。

    • 日付・金額の記憶執筆ミス → 「ニュース由来の日付・金額は、記憶で書かず必ずWebで照合してから書く」をルールファイルに追記

    • メールの宛先まわりのヒヤリ → 「送信前に宛先・本文・添付の組み合わせを1通ずつ照合する」をルール化

    僕の環境では、こうしたルールがAIの「長期記憶」として保存され、以後のすべての作業に自動で適用されます。つまり、失敗のたびに環境が硬くなる。同じ失敗は、少なくとも同じ形では起こりにくくなります。

    今日から5分でできる、いちばん小さい検査

    ここまでの仕組みは僕の環境の話ですが、入口は誰でも、ChatGPTだけでも作れます。

    画像

    ステップ1: 出力の最後にセルフチェックを義務づける

    依頼文の末尾に、これを足すだけです。

    出力の最後に、次の5項目を自分で検証して結果を表で書くこと。 ①指示した修正箇所がすべて反映されているか(箇所ごとに明記) ②本文中の数字・日付に、根拠を確認していないものはないか ③引用・出典は実在するか(不確かなら「未確認」と書く) ④指示にない変更を勝手にしていないか ⑤文字数・形式の指定を守っているか

    効果は2つあります。AIが自分の穴を自己申告するようになること。そして「未確認」という言葉が出てきた瞬間に、人間がどこを見ればいいか分かることです。

    不合格の基準も決めておきます。5項目のうち1つでも「未確認」「一部のみ」が出たら、その出力は使わない。 該当箇所だけ再指示して、全項目が埋まってから使います。

    ステップ2: 大事な成果物だけ、別のAIで検収する

    無料でも構いません。Claudeで作ったものをChatGPTに、ChatGPTで作ったものをGeminiに。依頼文はこれです。

    あなたは品質ゲートです。この文書の粗(事実誤り・論理の飛躍・誇大表現・内部矛盾)を探し、重要度つきで指摘してください。最後に「公開OK/修正後OK/差し戻し」を明記すること。褒める必要はありません。

    ステップ3: 落ちたら、直して、もう一度かける

    1回のレビューで終わらせず、修正→再検査→合格まで回します。僕の運用では最大3ラウンド。3回落ちたら、表現の修正ではなく企画から見直します。

    ここまでで、かかる時間は1回あたり数分です。それで「深夜の自分の目」よりはるかに信頼できる検査が手に入ります。

    まとめ — 信頼は、検査の回数でできている

    AIの能力を疑う必要はありません。疑うべきは、検査なしで出荷する運用のほうです。

    僕がこの1年で学んだことを1行にすると、こうなります。

    AIとの仕事の品質は、モデルの賢さではなく、「できました」を何回検査したかで決まる。

    まずは今日の依頼文の末尾に、セルフチェック5項目を足すところから。あなたの「検査ゼロ運用」は、5分で終わらせられます。


    この「検査」を、リサーチ工程に組み込んだ実例があります。AIの調査レポートから出典の捏造を機械的に検出する仕組み(プロンプト全文つき)はこちら。

    → AIリサーチを11工程に分けたら、出典が嘘をつかなくなった

    同じ考え方を議事録に適用した、3段階プロンプトの全文公開はこちら。

    → コンサルの議事録プロンプト、全文公開します

    そして、僕がAIに任せている仕事の全体像(無料・100個の実測リスト)はこちら。

    → 僕がAIにやらせている仕事100選【全部実測】

    環境構築を最初から最後までやりたい方には、30万字の設計書もあります。

    → 30万字の設計書|自分のクローンを作って、仕事の負荷を圧倒的に下げた全記録

    この記事が役に立ったら、スキとフォローで応援してもらえると、更新の励みになります。

     
     
    コンサルタント×Claude Codeで、仕事の「考える」を仕組み化する人。AIに調査・分析・レポートを全部やらせる11エージェントパイプラインを構築。実務で使い倒してるノウハウを毎週noteで公開中。有料記事を購入いただいた方には、記事内容に関する質問を受け付けています。

    あなたへのおすすめ