メインコンテンツへスキップ
見出し画像

AIは賢いけど、「気をつけます」ではミスが直らない

    シリーズ「コードが書けない社長、AI社員を雇う」その3

    コードが書けないレノンです。物販が本業の個人事業主で、非エンジニアです。

    AIがミスをして「今後は気をつけます」と返してくる。
    それで本当に直ったことありますか。

    私の記録では「気をつける」と決めたあとに同じ型の誤りが起きた例が17件ありました。

    そこで方針を変えました。気をつけるのではなく、スクリプトか検査にして止める。

    今回はそのために作った仕組みを4つ書きます。

    私は Claude Code のセッションを2つの役に分けて使っています。
    A はナレッジ管理役(仕様を決めて、できたものを確かめる)、B はツールを作る役です。

    これから書く1・2・4 は A の誤り、3 は B の書いたコードの見落としを止める仕組みです。

    1. 指示書を1つのファイルにして、封をする

    前回、運ぶ仕事は「2文を貼るだけ」になったと書きました。
    でも Claude Code に移してすぐにそうなったわけではありません。ここでは2文にたどり着くまでを書きます。

    繰り返された誤り

    チャット時代の最後は、専門家のチャットが報告を決まった形の文章で返していました。
    項目は6つ。終わったこと、決まったこと、プロデューサー役の判断が要ること、などです。
    空の項目も省かずに「none」と書く決まりでした。「無い」のか「見ていない」のかを分けるためです。
    その文章を私がコピーしてプロデューサー役に貼っていました。

    返事が来ていない報告を見つけるために報告の頭に「便番号」も足しました。
    どのチャットからどのチャットへ、何月何日の何本目かを書く番号です。
    同じ番号が両側で生まれたら、先に私に渡った方がその番号を持つ。どちらが先かを知っているのは貼った私だけでした。

    その頃は1日に9往復を中継する日もありました。
    「区切りで出す・途中経過では出さない」という決まりもありましたが、守られていませんでした。
    プロデューサー役が中継し漏らして、仕様の直しが作られないままになったこともあります。

    そんなことがあり、もうその運用は諦めて Claude Code に移しました。
    A が指示書をファイルに書いて B のフォルダに置き、私は B に「このファイルを読んで」と言うだけ。B は結果を別のファイルに書く決まりです。
    ところが B の返事は結果のファイルではなく長い文章で返ってきて、私がそれを A に貼り直していました。
    返事を書けと言わないと返事が来ないこともありました。
    貼った文は会話が長くなって圧縮されると消えてしまい、どの版の話か分からなくなりました。

    チャットから Claude Code に移っても、決まりで止めようとしている間は私の運ぶ仕事が残っていたのです。

    もう1つ困っていたのが、仕様の版です。

    仕様書は何度も直します。
    B が古い版を見て作ると、正しく作っても違うものができてしまいます。
    そこで A は指示書に「この版の仕様を見て」と書きます。B は作る前に、その版かを確かめる必要があります。

    版の見分け方はバイト数(ファイルのデータ量)です。
    チャット時代は文書を git ではなくドライブに置いていたので、ファイル名の日付とバイト数で版を見分けていました。行数は数え方で1ずれるので、バイト数にしたのです。
    Claude Code に移っても A はその決まりをそのまま使い、版のバイト数を都度自分でナレッジへ書き込んでいました。指示書に「この版の仕様を見て」と書くときは、ナレッジのその数字を写します。

    ところが同じ日に仕様を3回直したのに、A は最初の値を書いたままにして最後の版と1,891バイトずれたことがあります。
    B の記録にも古い値がそのまま写りました。中身を直して、数字を直し忘れる型です。
    ナレッジに記録されたバイト数が古い版のものだと、B は古い版を正しいものとして認識してしまうおそれがあります。

    私の中継ミスを防ぐ方法も試しました。
    A に言われて、B に指示書を渡すときにバイト数を書き添えたのです。
    私が測って書いた数字と B が受け取ってから測った数字が合えば、中継は正しいと言えます。

    ところが2つの数字が合いませんでした。
    A に返すと、改行の数え方や人がどうやって測るかで数字が変わることが分かりました。
    バイト数で確かめる運用は成り立たなかったのです。

    そこで A が新しく試したのが SHA-256 という計算で、これはうまくいきました。
    それが次に書く「封」です。

    作ったもの

    指示書と結果を書くファイルを1つにまとめました。
    上半分を A が書き、下半分の報告欄を B が埋めます。

    1本の指示書は上から次の順に並んでいます。

    • 題(案件の番号・短い題・日付)

    • 読み方(B への指示。埋めたら A に「案件の番号 埋めました」とだけ送る。本文を会話に貼らない)

    • A が書く部分(なぜ・作るもの・着手の1手目・依頼・受け入れ試験・守ること)

    • B が埋める報告欄(10項目。指示書によって1つ足す)

    報告欄には「やったこと」「試験の結果」「止まった所」などが並びます。
    空欄は禁止で、当てはまらない所は「該当なし」と書きます。

    報告欄の中で大事なのは、指示書内の前提で誤っていた点を書く欄です。指示書の記載と実物が違った所を、B が見つけて書きます。
    ここを空欄にできないので、B は必ず実物と照らします。

    A は書き終えたら「封」をします。

    指示書の中には「A が書く・ここから」と「A が書く・ここまで」という目印の行が2本あります。
    その間に挟まれた A の部分だけを SHA-256 という決まった計算にかけて、「ハッシュ値」と呼ぶ64文字にします。

    ハッシュ値には2つの性質があります。
    同じ文章なら、何度計算しても同じ値になる。1文字でも違えば、まったく別の値になる。
    たとえば次の2つの文は「A」と「B」が違うだけです。

    ナレッジに書くのは A だけ → 94c53c9cabeba506…
    ナレッジに書くのは B だけ → 5ffe75839bd6bd96…

    人の指紋のように、中身ごとに違う値が出るので「指紋のような値」です。
    A は計算したハッシュ値を「ここまで」の行の後ろに書き込みます。
    改行の書き方が違うだけで値が変わらないように、計算の前に改行の形をそろえています。

    確かめるときは、Claude に書いてもらった確認用の小さなスクリプト(Python)が同じ計算をし直して、書いてある値と比べます。
    一致すれば A が封をしたときの中身と1文字も違わないということです。
    これで次のような食い違いが見つかります。

    • B がうっかり A の書いた部分を書き換えてしまった

    • A が封をした後に中身を直したのに、封をし直していなかった

    • 古い版の指示書が B に渡っていた

    ただし、これは改ざんを防ぐ仕組みではありません。
    中身を書き換えた人が値も計算し直して書き換えれば一致してしまいます。
    守っているのは、うっかりの食い違いです。B が埋める報告欄も封の外にあります。

    封をするスクリプトを打つと、次のように出ます。

    ✅ 封じた
    A 側 6,736 字 / sha256 df9ad4ff7088bba6…
    ⚠ 前の値から変わった ── B に再送する

    3行目は、封をし直して値が変わったときに出ます。封をした後に中身を2回書き換えた日も、そのたびにスクリプトが渡し直すように言ってくれました。

    封が合っているかを確かめる、確認用のスクリプトもあります。打つのは A だけです。
    A は指示書を B のフォルダに置いた直後と、B から「埋めました」と返ってきた後に打ちます。届いた指示書が崩れていないか、B が報告欄だけを埋めたかを確かめるためです。
    A がスクリプトを打つと、B のフォルダの中の指示書の状態が1本1行で出ます。
    B がまだ報告欄を埋めていない指示書(⚠ の行)には、その下に B へ渡す2文が出ます。
    A がこの2文を私に渡し、私がそれを B に貼ります。

    表示の例です。

    ✅ 指示書A ✅ 記入済 ✅ 版一致
    ⚠ 指示書C ⬜ 未記入 ✅ 版一致
    【案件の番号】ファイルの場所 を読んで、末尾の報告枠を埋めてください。
    【案件の番号】埋めたら「案件の番号 埋めました」とだけ返してください。

    「記入済」は B が報告欄を埋め終えたこと、「版一致」は封を計算し直して合ったことです。
    B はこのスクリプトを打たず、封の行に書いてある手順で自分で計算して確かめます。

    私の仕事は、この2文を貼ることと、B から「埋めました」と返ってきたら A にそう伝えることだけになりました。

    2文までスクリプトに作らせたのには、わけがあります。
    1つのファイルにしたその日に、A が2文を自分で組み立てて、ファイルの場所を2回間違えたのです。
    1,891バイトのずれも同じ日でした。どちらも A が直接書いて、数字や場所がずれる型です。

    止まったか

    2文もスクリプトが作るようにしてから、返事の行方不明や指し間違いの記録はありません(回数は数えていません)。
    いまは2文の代わりに、セッションどうしのメッセージで渡しています。その話は別の記事で書きます。

    チャット時代は、報告の書き漏らしや返事の行方不明を決まりで止めようとしていました。
    いまは同じことを、ファイルの形とスクリプトで止めています。

    ただ、後で B の報告から分かったことがあります。
    封がファイルのどこからどこまでの値なのかが分かりにくく、B は毎回、範囲を総当たりで探して確かめていたのです。
    いまは封の行に、確かめ方の細かい決まりをスクリプトが毎回書き込み、B が計算する範囲をはっきりさせています。

    2. 渡す前に、読むだけのAIに読ませる

    繰り返された誤り

    過去の指示書30本を見直すと、約26本に A の誤りがありました。
    行番号、件数、ファイルの場所などを確かめずに書いていたのです。

    作ったもの

    封をしたら B に渡す前に、別のAI(Claude Code のサブエージェント)に読ませます。

    テストとして、最初の指示書3本で Claude Code に最初から入っている「Explore」というサブエージェントを試しました。
    ファイルを探して読むための役で、ファイルを書き換える機能は持っていません。
    結果がよかったので、それを手本に自分用の役を作り「読み合わせ役」と名前を付けて使っています。
    作業フォルダの .claude\agents\ に md ファイルを1つ置くのが、Claude Code のふつうのやり方です。
    ファイルの先頭に名前と説明と使ってよい機能を書いて、本文に頼み方の決まりを書きます。本文は日本語で27行ほどです。
    定義にしておくと、毎回同じ決まりで読ませられます。

    読み合わせ役がファイルを書き換えないように、2つの方法で守っています。

    1つは機能を絞ること。
    渡しているのはファイルを読む機能と探す機能とシェルだけで、ファイルを書き換える機能は渡していません。渡していない機能は呼べないので使えません。

    もう1つは頼み方で縛ること。
    シェルは過去の版を読んだり行数を数えたりするのに要りますが、書き込みもできてしまいます。
    そこで本文に「使ってよいのは読むだけのコマンド」と書いています。

    正直に言うと、読み合わせ役の設定としてはシェルの所は言葉で止めているだけです。
    それでも、今のところ書き換えた例はありません。

    探すのは指示書の中の矛盾と、実物と食い違う記載の2つだけ。書いてある行番号や件数を1つずつ実物を開いて確かめます。
    推測で「たぶん正しい」とは書かせず、確かめられなかったものは「確かめられなかった」と書かせます。

    呼ぶ側の A にも決まりがあります。
    渡すのは「どのファイルを読むか」だけで、答えにつながるヒントは書かない。読み合わせ役の指摘もそのまま直さずに、A が自分で実物を測り直してから直す。

    この「封をしたら読ませる」も、最初は決まりとして書いただけでした。
    それでも忘れるので、いまは封をした瞬間にスクリプトが「次は読み合わせ」と表示します。
    自動で呼び出す仕組みは作っていません。読み合わせ役を呼ぶのは A で、表示は思い出させるためです。

    止まったか

    試した3本では、後で B が見つけた誤り6件のうち5件を先に拾えました。
    ただし3本目では A が頼み方にヒントを書いてしまいました。その分を割り引くと4件です。ヒントを書かない決まりはここから生まれました。
    役として使い始めてからの6本では、読み合わせのあとに B が見つけた誤りは1件です。

    直しが大きかったときは、封をし直してもう一度読ませています。

    その代わり、1回読ませるのに7万〜8万トークンと、3〜7分かかります。

    なお、A が誤りを書く回数は減っていません。
    B に届く前に止まるようになった、というのが正確です。
    B の手間を減らすために惜しみなくコストを投入する部下思いの素敵な社長ですね。

    3. コードを作ったら、AIにレビューさせてから報告する

    繰り返された誤り

    A は B の成果を確かめますが、見るのは指示書に書いたことがきちんとできているかです。
    試験をするにしても、A が想定した中でしか試せません。
    そのため、想定の外の入力で起きる不具合は見つけられませんでした。

    作ったもの

    B は試験が通ったら、記録に残す(コミットする)前に Claude Code の /code-review を打ちます。
    指摘は直さずに報告欄に写し、直すかどうかは A と私が決めます。

    止まったか

    試した4本で、A の確認では見つからなかった本物の指摘が、合わせて17件ありました。

    ただ、指摘は直すたびに次々と出てきます。
    そこで、直すのは実際に困ることだけにしました。使いやすさについての指摘もありましたが、使ってみて問題がなければ直しません。

    4. ナレッジに記録する前には機械で検査する

    繰り返された誤り

    A がファイル内の書くべき欄を間違えて入力しました。
    A は表を書き換えるたびに、欄の数が合っているかをその場で数えていました。
    でも数えていたのは欄の数だけで、どの欄に何を書いたかは見ていません。欄の数は合っていたので、取り違えは通ってしまいました。

    作ったもの

    記録(コミット)の直前に、Claude に書いてもらった検査のスクリプトが自動で走るようにしました。私が何もしなくても走ります。
    欄の数だけでなく、一部の欄は中身がその欄らしいかまで確かめます。
    1つでも外れていれば記録そのものが止まります。

    止まったか

    作ってから、同じ型の取り違えの記録はありません(回数は数えていません)。
    ただ、文章を書く欄どうしの取り違えは、中身で見分けられないので今の検査でも見つかりません。

    やってみて分かったこと

    4つを並べると共通点があります。

    AIのミスは減らない。でも、相手に届く前に止められる。

    私はコードを読めません。だから、AIの書いたものを自分で確かめることもできません。
    その代わりに、確かめる仕組みをAIに作ってもらい、決まった場所で必ず通るようにしました。

    ちなみに、ミスが何件減ったという比べられる数字はありません。前と今とで数え方が違うからです。
    ここに書いた数字は、それぞれを試したときの記録です。

    私がしたのは「気をつけます」が出てきたら、それを止める仕組みを1つ作ってもらうことだけです。
    どの仕組みも私はコードを1行も書いていません。

    次回は、チャット時代と今で何が変わったかをまとめます。

     
     
    物販が本業の個人事業主。非エンジニア。 AIの使いっ走りだった私が見つけた、仕事の任せ方をシェアします。 Claude Codeで自分の仕事を自動化中。専門家の解説ではなく、うまくいかなかったことも含めた実録です。

    あなたへのおすすめ