メインコンテンツへスキップ
見出し画像

ナレッジをためるほど、AIは賢くならなかった

    シリーズ「コードが書けない社長、AI社員を雇う」その2

    コードが書けないレノンです。物販が本業の個人事業主で、非エンジニアです。

    前回はAIのチャットに役を分けて任せた結果、私が使いっ走りになっていた話を書きました。
    今回はやり方を変えて、何が変わったかを書きます。

    先に結論を言うと、一番楽になったのは「運ぶ仕事」が減ったことと「ナレッジ」の扱い方が変わったことです。

    運ぶ仕事は「2文を貼るだけ」になった

    前回の体制では、チャットの返事を何往復もコピーして貼っていました。

    いまは Claude Code のセッションを2つの役に分けて使っています。

    • A:ナレッジ管理役(結果的に仕様を決めて、できあがった成果物を確かめる役になりました)

    • B:ツールを作る役

    A が作業の指示書を1つのファイルに書きます。
    B はそのファイルを開いて作業し、同じファイルの報告欄に結果を書き込みます。

    私がすることは B に決まった2文を貼ることと、B から「埋めました」と返ってきたら A に伝えることだけです。

    どちらの役もパソコンの中のファイルを自分で開けます。
    パソコンの中のことで「このコマンドを打って」と頼まれることはなくなりました。ナレッジの最新版を手作業で差し替えることもなくなりました。

    「ナレッジ」はミスの記録の山だった

    もう1つがナレッジの扱い方です。

    チャット時代の私は「ナレッジをためればAIは賢くなる」と思っていました。

    でも実際にたまっていく中で目立っていたのは、プロデューサー役のミスの記録でした。
    誤りが起きるたびに記録して、対策として「気をつける」と書き足す。改善の方法がないまま記録だけが増えていきました。

    数えてみると、約68万字のナレッジのうち誤りの記録が約11万字。全体の約6分の1でした。

    すると次のことが起きます。

    • 記録が長すぎて、AIは全部を読まずに動く

    • 読まずに動くから、また同じミスをする

    • 全部読ませようとすると、それだけでトークンを大量に消費する

    ためるほど悪くなる。ナレッジのつもりが重りになっていました。

    そもそも、全部は読めなかった

    後で計算して驚いたことがあります。

    68万字のナレッジは、AIが数える単位(トークン)にすると45万〜50万。
    AIが一度に読める量の2倍以上ありました。
    誤りの記録だけで約8.7万トークン。それだけで一度に読める量の44%です。

    つまり「全部読ませる」は最初から成り立っていなかったのです。
    読めない量を渡して「読んだ前提」で仕事をさせていました。

    AIが誤りを繰り返していたのも、当然といえば当然です。。。
    社長が使いっ走りになったと被害者面していましたが、部下には部下の苦労があったわけですね。

    全部読ませるのをやめた

    いまは考え方を逆にしています。

    全部は読ませない。必要なところだけ探して読ませる。

    ナレッジ全体はいま約105万字あります。チャット時代より増えました。
    でも全部を読ませることはしません。

    やっていることは3つです。

    • 1つだったナレッジを話題ごとのファイルに分けて、パソコンのフォルダに置いた(最初は約20、いまは30ファイル)

    • AIが検索して必要な節だけを取り出して読む。そのための小さなスクリプト(Python)も Claude に書いてもらった

    • 検索するときは誤りの記録を外して探す

    実際に測ると、1回に読む量はファイル全体の9分の1から22分の1で済んでいます。

    読む量が減ったのでトークン消費量も少なく回せるようになりました。
    ミスも減ったと感じています。

    CLAUDE.md に入れると、毎日の固定費になる

    Claude Code には、作業フォルダに置いた CLAUDE.md(説明書)を毎回自動で全文読む仕組みがあります。
    便利なのでつい知識をそこに貯めたくなります。

    でも、CLAUDE.mdは毎回読まれます。
    私の場合、とある話題の関連部分だけで約7万字あり、CLAUDE.mdに入れると一度に読める量の37%を毎回使う計算でした。

    そこでナレッジ用のフォルダを作って知識はそこ1か所にだけ置き、CLAUDE.md には「どこを見ればよいか」の案内だけを書くことにしました。
    置いておくだけならほぼタダ。丸々読ませると毎回の固定費。そう考えるようになりました。

    比べられる数字は、まだ無い

    「ミスが何件から何件に減った」という数字は出せません。

    チャット時代は誤りを1件ずつ全部記録していました(記録が残っている7週間で324件)。
    いまは誤りを型ごとに数えています。数え方が違うので、並べて比べることができないのです。

    なので、ここに書いたのは「減ったと感じている」という実感です。
    比べられる数字が取れたら改めて書きます。

    もしあなたの CLAUDE.md や、毎回貼っている前提が長くなっていたら

    チャットでも Claude Code でも、AIに渡す前提やメモが長くなって困っている人は多いと思います。
    私もそうでした。

    私が試してよかったのはこの2つでした。

    • 1つの大きなファイルを話題ごとに分ける

    • 全部を読ませるのではなく、探して必要なところだけ読ませる

    量を減らすのではなく、一度に読ませる量を減らす。
    それだけでAIの動きはかなり変わりました。

    それでも、ミスはゼロにならない

    ただ、読ませ方を変えてもAIのミスはゼロにはなりません。

    記録を見返すと、「気をつける」と決めたあとに同じ型の誤りが起きた例が17件ありました。
    気をつけるだけでは止まらないのです。

    そこで「気をつける」をやめて、スクリプトや検査で止めるようにしました。
    次の記事ではその仕組みを書きます。

     
     
    物販が本業の個人事業主。非エンジニア。 AIの使いっ走りだった私が見つけた、仕事の任せ方をシェアします。 Claude Codeで自分の仕事を自動化中。専門家の解説ではなく、うまくいかなかったことも含めた実録です。

    あなたへのおすすめ