
ナレッジをためるほど、AIは賢くならなかった
シリーズ「コードが書けない社長、AI社員を雇う」その2
コードが書けないレノンです。物販が本業の個人事業主で、非エンジニアです。
前回はAIのチャットに役を分けて任せた結果、私が使いっ走りになっていた話を書きました。
今回はやり方を変えて、何が変わったかを書きます。
先に結論を言うと、一番楽になったのは「運ぶ仕事」が減ったことと「ナレッジ」の扱い方が変わったことです。
運ぶ仕事は「2文を貼るだけ」になった
前回の体制では、チャットの返事を何往復もコピーして貼っていました。
いまは Claude Code のセッションを2つの役に分けて使っています。
A:ナレッジ管理役(結果的に仕様を決めて、できあがった成果物を確かめる役になりました)
B:ツールを作る役
A が作業の指示書を1つのファイルに書きます。
B はそのファイルを開いて作業し、同じファイルの報告欄に結果を書き込みます。
私がすることは B に決まった2文を貼ることと、B から「埋めました」と返ってきたら A に伝えることだけです。
どちらの役もパソコンの中のファイルを自分で開けます。
パソコンの中のことで「このコマンドを打って」と頼まれることはなくなりました。ナレッジの最新版を手作業で差し替えることもなくなりました。
「ナレッジ」はミスの記録の山だった
もう1つがナレッジの扱い方です。
チャット時代の私は「ナレッジをためればAIは賢くなる」と思っていました。
でも実際にたまっていく中で目立っていたのは、プロデューサー役のミスの記録でした。
誤りが起きるたびに記録して、対策として「気をつける」と書き足す。改善の方法がないまま記録だけが増えていきました。
数えてみると、約68万字のナレッジのうち誤りの記録が約11万字。全体の約6分の1でした。
すると次のことが起きます。
記録が長すぎて、AIは全部を読まずに動く
読まずに動くから、また同じミスをする
全部読ませようとすると、それだけでトークンを大量に消費する
ためるほど悪くなる。ナレッジのつもりが重りになっていました。
そもそも、全部は読めなかった
後で計算して驚いたことがあります。
68万字のナレッジは、AIが数える単位(トークン)にすると45万〜50万。
AIが一度に読める量の2倍以上ありました。
誤りの記録だけで約8.7万トークン。それだけで一度に読める量の44%です。
つまり「全部読ませる」は最初から成り立っていなかったのです。
読めない量を渡して「読んだ前提」で仕事をさせていました。
AIが誤りを繰り返していたのも、当然といえば当然です。。。
社長が使いっ走りになったと被害者面していましたが、部下には部下の苦労があったわけですね。
全部読ませるのをやめた
いまは考え方を逆にしています。
全部は読ませない。必要なところだけ探して読ませる。
ナレッジ全体はいま約105万字あります。チャット時代より増えました。
でも全部を読ませることはしません。
やっていることは3つです。
1つだったナレッジを話題ごとのファイルに分けて、パソコンのフォルダに置いた(最初は約20、いまは30ファイル)
AIが検索して必要な節だけを取り出して読む。そのための小さなスクリプト(Python)も Claude に書いてもらった
検索するときは誤りの記録を外して探す
実際に測ると、1回に読む量はファイル全体の9分の1から22分の1で済んでいます。
読む量が減ったのでトークン消費量も少なく回せるようになりました。
ミスも減ったと感じています。
CLAUDE.md に入れると、毎日の固定費になる
Claude Code には、作業フォルダに置いた CLAUDE.md(説明書)を毎回自動で全文読む仕組みがあります。
便利なのでつい知識をそこに貯めたくなります。
でも、CLAUDE.mdは毎回読まれます。
私の場合、とある話題の関連部分だけで約7万字あり、CLAUDE.mdに入れると一度に読める量の37%を毎回使う計算でした。
そこでナレッジ用のフォルダを作って知識はそこ1か所にだけ置き、CLAUDE.md には「どこを見ればよいか」の案内だけを書くことにしました。
置いておくだけならほぼタダ。丸々読ませると毎回の固定費。そう考えるようになりました。
比べられる数字は、まだ無い
「ミスが何件から何件に減った」という数字は出せません。
チャット時代は誤りを1件ずつ全部記録していました(記録が残っている7週間で324件)。
いまは誤りを型ごとに数えています。数え方が違うので、並べて比べることができないのです。
なので、ここに書いたのは「減ったと感じている」という実感です。
比べられる数字が取れたら改めて書きます。
もしあなたの CLAUDE.md や、毎回貼っている前提が長くなっていたら
チャットでも Claude Code でも、AIに渡す前提やメモが長くなって困っている人は多いと思います。
私もそうでした。
私が試してよかったのはこの2つでした。
1つの大きなファイルを話題ごとに分ける
全部を読ませるのではなく、探して必要なところだけ読ませる
量を減らすのではなく、一度に読ませる量を減らす。
それだけでAIの動きはかなり変わりました。
それでも、ミスはゼロにならない
ただ、読ませ方を変えてもAIのミスはゼロにはなりません。
記録を見返すと、「気をつける」と決めたあとに同じ型の誤りが起きた例が17件ありました。
気をつけるだけでは止まらないのです。
そこで「気をつける」をやめて、スクリプトや検査で止めるようにしました。
次の記事ではその仕組みを書きます。