
AIの「できました」を信じるのをやめた話

AIの「できました」を信じるのをやめた話
昨日の深夜、公開ボタンを押す直前の記事を、AIのレビューに止められました。
止めた理由は「100選と銘打っているのに、カテゴリ見出しの個数を合計すると102個になる」。人間の目では何度読んでも気づけなかった矛盾です。
AIの返事をそのまま資料や記事に貼って、あとから冷や汗をかいたことがある人へ。この記事では、僕がAIの「できました」を信じるのをやめた理由と、信じなくて済む仕組みの作り方を書きます。
この記事で分かること
AI活用の事故が「能力不足」ではなく「検収不足」から起きる理由
僕の環境でAIのミスを実際に止めてきた3つの仕組み(実例つき)
今日から5分で始められる、いちばん小さな「検査」の作り方
AIは平気な顔で「できました」と言う
まず、僕の環境で実際に起きた失敗を3つ並べます。どれも実話です。
失敗1: 日付と金額を「記憶」で書いた。 AIにニュース解説の記事を書かせたときのことです。出来事の時期と金額が、もっともらしく、しかし間違って書かれていました。
具体例を1つ。「時給60ドルが16ドルに下がった」とAIが書いた数字を原文と照合したら、正しくは「21ドルから16ドル」でした。下落という構図は合っているのに、起点の数字だけ別の話から混入している。文章は流暢なので、読んだだけでは気づけません。
失敗2: 引用元の名前を勝手に変えた。 提案資料の出典欄で、AIが実在しない調査名をそれらしく「創作」していたことがあります。数字は合っているのに、出どころが嘘になっている。これが一番怖いパターンです。
失敗3: 「全部直しました」と言って直っていない。 修正指示を出すと「修正しました」と返ってくる。でも確認すると、3箇所のうち1箇所しか直っていない。悪気はない(そもそも悪気という概念がない)からこそ、タチが悪い。
ここから得た結論はシンプルです。
AIの申告は、信じるものではなく、検査するものだ。
そして大事なのは、検査を人間の根性でやらないこと。人間の目視チェックは、疲れていれば抜けるし、深夜2時には機能しません。検査そのものを仕組みにする必要があります。
仕組み1: 機械検査 — 合否はプログラムに判定させる
一番強い検査は、AIにもう一度聞くことではなく、プログラムで機械的に判定することです。
僕の環境の例を挙げます。
スライド: 完成したスライドを検査プログラムにかけます。枠からのはみ出し・文字あふれ・必須要素の欠落・配色ルール違反を自動検出し、1件でも引っかかれば「不合格」。直すまで出荷できません
リサーチレポート: 検査専任のAIが確認します。すべての主張に出典が繋がっているか。信頼度を勝手に格上げしていないか。悲観シナリオを隠していないか。不合格なら執筆担当に差し戻されます
プログラム: AIに書かせたコードは、テスト・セキュリティ検査・性能検査を通らない限り採用されません
ポイントは、判定基準を「AIの感想」にしないこと。「枠からはみ出しているか」は座標計算で白黒つきます。「出典が存在するか」はリンクを辿れば白黒つきます。白黒つく形に検査を翻訳するのが、人間の仕事です。
この方式を、僕は「疑わしきは不合格(fail-closed)」と呼んでいます。検査を通らない限り先に進めない。例外なし。「今回だけ目視でいいか」を一度許すと、検査は形骸化します。
仕組み2: 敵対レビュー — 別のAIに「粗を探して落とせ」と命じる
機械検査で拾えないもの(論理の飛躍、事実の誤り、誇大表現)は、別のAIにレビューさせます。ここに2つコツがあります。
コツ1: 「別ベンダー」のAIを使う
同じAIに自己レビューさせても、自分の思い込みは見つけられません。作った本人だからです。
そこで僕は、Claude(Anthropic)が作った成果物を、GPT(OpenAI)に検収させています。ベンダーが違えば、学習データも思考の癖も違います。片方の盲点が、もう片方の盲点と重ならない。これを利用した検査です。
コツ2: 役割を「粗探し」に固定する
普通にレビューを頼むと、AIは褒めてきます。「全体的によく書けています」は何の情報もありません。
依頼文を変えます。「あなたは品質ゲートです。この成果物の粗を探し、公開してよいか判定してください。判定は『公開OK/修正後OK/差し戻し』のいずれかで明記すること」。役割を検査官に固定すると、出力が一変します。
実例: 冒頭の「102個事件」
昨日の記事(僕がAIにやらせている仕事100選)は、公開前にこの敵対レビューへかけました。返ってきた指摘の1つがこれです。
内部整合: カテゴリの個数が不一致。全体の連番は100個で正しい一方、最終カテゴリの見出しは「10個」だが実数は8個。カテゴリ表記の合計は102個になる。このまま出すと「全部実測」の信頼を削る。
僕もAI(書いた本人)も見落としていた矛盾を、別のAIが機械的な数え直しで検出した。修正して再検査にかけ、「公開OK」が出てから公開しました。
実例: 6回連続で落とされて、開発を凍結した
もっと大きい話もあります。あるシステムの設計書を、僕はかなりの時間をかけて作り込みました。それを敵対レビューにかけたところ、6回連続で不合格。指摘は毎回具体的で、反論できないものでした。
最終的に僕はその開発を凍結しました。悔しいですが、これは検査が機能している証拠です。一度も「落ちない」レビューは、レビューではなくセレモニーです。落ちて初めて、通ったものに価値が出ます。
仕組み3: 失敗をルールに変換する — 同じ事故は二度起こさせない
検査をすり抜けて事故が起きることも、もちろんあります。そのときにやるのは反省ではなく、ルール化です。
日付・金額の記憶執筆ミス → 「ニュース由来の日付・金額は、記憶で書かず必ずWebで照合してから書く」をルールファイルに追記
メールの宛先まわりのヒヤリ → 「送信前に宛先・本文・添付の組み合わせを1通ずつ照合する」をルール化
僕の環境では、こうしたルールがAIの「長期記憶」として保存され、以後のすべての作業に自動で適用されます。つまり、失敗のたびに環境が硬くなる。同じ失敗は、少なくとも同じ形では起こりにくくなります。
今日から5分でできる、いちばん小さい検査
ここまでの仕組みは僕の環境の話ですが、入口は誰でも、ChatGPTだけでも作れます。

ステップ1: 出力の最後にセルフチェックを義務づける
依頼文の末尾に、これを足すだけです。
出力の最後に、次の5項目を自分で検証して結果を表で書くこと。 ①指示した修正箇所がすべて反映されているか(箇所ごとに明記) ②本文中の数字・日付に、根拠を確認していないものはないか ③引用・出典は実在するか(不確かなら「未確認」と書く) ④指示にない変更を勝手にしていないか ⑤文字数・形式の指定を守っているか
効果は2つあります。AIが自分の穴を自己申告するようになること。そして「未確認」という言葉が出てきた瞬間に、人間がどこを見ればいいか分かることです。
不合格の基準も決めておきます。5項目のうち1つでも「未確認」「一部のみ」が出たら、その出力は使わない。 該当箇所だけ再指示して、全項目が埋まってから使います。
ステップ2: 大事な成果物だけ、別のAIで検収する
無料でも構いません。Claudeで作ったものをChatGPTに、ChatGPTで作ったものをGeminiに。依頼文はこれです。
あなたは品質ゲートです。この文書の粗(事実誤り・論理の飛躍・誇大表現・内部矛盾)を探し、重要度つきで指摘してください。最後に「公開OK/修正後OK/差し戻し」を明記すること。褒める必要はありません。
ステップ3: 落ちたら、直して、もう一度かける
1回のレビューで終わらせず、修正→再検査→合格まで回します。僕の運用では最大3ラウンド。3回落ちたら、表現の修正ではなく企画から見直します。
ここまでで、かかる時間は1回あたり数分です。それで「深夜の自分の目」よりはるかに信頼できる検査が手に入ります。
まとめ — 信頼は、検査の回数でできている
AIの能力を疑う必要はありません。疑うべきは、検査なしで出荷する運用のほうです。
僕がこの1年で学んだことを1行にすると、こうなります。
AIとの仕事の品質は、モデルの賢さではなく、「できました」を何回検査したかで決まる。
まずは今日の依頼文の末尾に、セルフチェック5項目を足すところから。あなたの「検査ゼロ運用」は、5分で終わらせられます。
この「検査」を、リサーチ工程に組み込んだ実例があります。AIの調査レポートから出典の捏造を機械的に検出する仕組み(プロンプト全文つき)はこちら。
→ AIリサーチを11工程に分けたら、出典が嘘をつかなくなった
同じ考え方を議事録に適用した、3段階プロンプトの全文公開はこちら。
そして、僕がAIに任せている仕事の全体像(無料・100個の実測リスト)はこちら。
環境構築を最初から最後までやりたい方には、30万字の設計書もあります。
→ 30万字の設計書|自分のクローンを作って、仕事の負荷を圧倒的に下げた全記録
この記事が役に立ったら、スキとフォローで応援してもらえると、更新の励みになります。