メインコンテンツへスキップ
見出し画像

中間管理職、ミスを18個仕込んだ資料で、ChatGPTとClaudeをバトルさせてみた。

    UdemyのChatGPT講座を、少しずつ受けている。
    これまでに「メールをまとめる」と「ロジカルシンキング」の章を記事にした。

    今回は、第4〜6章。
    WordやPowerPointのチェック、Excelの計算、データ分析。
    仕事でいちばん使いそうなところだ。

    ……なのに、受けていて、なんか微妙だった。

    確認してみたら、講座の最終更新日は2024年11月。
    AIがだいぶ進歩する前だ。

    途中まで受けてから、気づいた。笑

    そこで、やり方を変えた。
    講座のやり方を、今のAIでそのまま試してみる。
    しかも、ChatGPT と Claude の2つで。

    バトルさせてみた。

    始める前の予想は、こうだった。

    「AIって、プロンプトを書く人を思いやってくれるよなぁ」
    「まちがっていても、寄り添った表現になるんじゃないか?」

    結果、この予想は当たった。
    ただ、当たり方が、思っていたのと少し違った。

    本文は約4,100字。
    後ろのおまけは、自分でも試してみたい方向けです(お題のファイルをダウンロードできます)。

    バトルのルール

    架空の会社「さくら文具」の在庫管理を題材に、ミスを仕込んだお題を3つ用意した。

    • ラウンド1:ロジックツリー(おかしいところを3つ仕込んだ)

    • ラウンド2:Wordの月次報告書(ミスを9個仕込んだ)

    • ラウンド3:在庫のExcel(12か月分。問題を6つ仕込んだ)

    聞き方は2通り。

    • 講座のまま:講座に出てきた聞き方をそのまま(「このWordファイルに、タイポがないかチェックしてください」など)

    • 今どきの聞き方:立場と目的を先に書く(「部長に提出する前の月次報告書です」など)

    条件もそろえた。

    • ChatGPT:Plus、考える深さ「中程度」、一時チャット

    • Claude:Pro、Opus 5.5、考える深さ「中」、シークレットチャット

    • どちらも、メモリや個人設定は使わない

    • 答えは作り直さない。最初の答えで勝負

    正解は先に決めておいて、何個見つけたかで点をつけた。


    01 2024年の講座のやり方は、今も通じる?

    講座のスライドでは、ロジックツリーを見せて「この図は論理的でしょうか?」と聞くと、
    「論理的です」と返ってきていた。

    今回は、2つとも「論理的です」とは言わなかった。

    ほかのお題も、講座の聞き方のまま試した。

    Wordの報告書を渡して、こう聞いた。
    「このWordファイルに、タイポがないかチェックしてください」

    仕込んだのは、こんなミスだ。

    • 「在庫館理表」「なくしまします」「10月のけっか」

    • 250万円から220万円で「前月比20%減」(本当は12%)

    • 「棚卸しは9月31日に実施」(9月は30日まで)

    • 本文は「欠品は3件」、表には4件

    • 「担当者2名には、残業申請をせずに土曜日に出勤してもらいました」

    • ほかに、表記ゆれ(棚卸し/たな卸し)と、欠品日数の合計のまちがい(15日、本当は14日)

    結果。

    ChatGPTも、Claudeも、9個全部見つけた。

    タイポだけじゃない。
    計算ミスも、ありえない日付も、残業の件まで。

    「……え、タイポって言ったよね?」

    タイポだけ見てとお願いしたチームメンバーが、
    計算ミスと労務の問題まで赤を入れて返してきた。
    そんな感じだった。

    Excelも同じだった。

    「このExcelは、どういうデータですか?」

    Claudeは、この質問だけで
    「ボールペンの出荷数1180は、計算上は118が正しいので、入力ミスと思われます」と答えた。

    ChatGPTは
    「計算が一致しない行が1件あります。分析前に整合性を確認するとよいでしょう」と、データを疑うところから入った。
    頼んでいないのに、グラフまで描いてきた。

    答え:通じる。しかも、頼んだ以上のことまでやってくる。


    02 ChatGPT と Claude、どっちが頼れる?

    点数は、こうなった(20点満点)。

    • ChatGPT:講座のまま 18.5点、今どきの聞き方 19.5点

    • Claude:講座のまま 20点、今どきの聞き方 20点

    ChatGPTが点を落としたのは、ロジックツリーの矛盾を「両立する」と読んだところと、在庫が10年分ある電卓を見落としたところ。

    画像
    見つける力は、ほぼ互角。

    点数の差は小さい。
    違いが出たのは、見せ方と見る角度だった。

    見せ方

    ChatGPTは、表、色つきのカード、グラフ、点数のバー。
    画面がにぎやかで、パッと見て分かる。

    Claudeは、ほぼ文字だけ。
    上司が赤ペンで書き込んだような答え方だった。

    見る角度

    いちばん違ったのは、「異常値はありますか?」と聞いたとき。

    ChatGPTは、統計のルールで外れ値を探した。
    出荷数が多い月、少ない月を、10件並べた。
    その代わり、ほとんど売れないのに127台も在庫がある電卓は「検出されませんでした」。

    Claudeは、異常値を3つに分けた。

    • 入力ミスと思われるもの(直すべき)

    • 突出しているが、実際の動きかもしれないもの(念のため確認)

    • 数値は正しいが、運用上おかしいもの(発注の見直し)

    電卓は「今のペースだと、10年分近くの在庫」。

    ChatGPTは統計の答え。
    Claudeは、在庫担当の答え。
    同じ質問でも、見ている場所が違った。

    画像
    同じ『異常値は?』でも、見る場所が違う。

    答え:見つける力はほぼ互角。違うのは、見せ方と見る角度。


    03 それでも、人が見ないといけないのは?

    ここからが、今回いちばん書きたかったところ。

    矛盾を、かばった

    ロジックツリーに、こんな矛盾を仕込んでいた。

    「欠品で売上を逃している」の根拠に、「倉庫の在庫は常に多めにある」。

    在庫が多いなら、欠品しないはずだ。

    Claudeは「むしろ逆向きに読めます」と指摘した。

    ChatGPTは、2回聞いて、2回とも
    「必ずしも矛盾しているわけではありません。商品別の在庫の偏りなどで両立します」。

    画像
    『最重要』に挙げたのに、『両立します』。

    たしかに、そういうこともある。
    でもこれは、作った人をかばう読み方だ。

    事実を、消した

    Wordの報告書で、「直したファイルも返してください」とお願いした。

    Claudeが直した文は、こうだった。

    • 元の文:担当者2名には残業申請をせずに土曜日に出勤してもらいました。

    • 直した文:担当者2名が土曜日に休日出勤しました。勤怠記録への反映と休日出勤手当の精算は、人事担当と確認のうえ対応します。

    「残業申請をせずに」が、まるごと消えている。

    しかも、直した理由として、こう書いてあった。

    「会社が未申請の出勤をさせた、と読める書き方を避けるため」

    画像
    消えた一文と、消した理由。

    1つ前の質問では、Claude自身が
    「報告書の文言を変えるだけで済ませるのはおすすめしません。かえって隠蔽と見られるリスクがあります」
    と言っていたのに、だ。

    「やっぱり、ある程度、プロンプトを書く人を守る動きをするんだ……」

    同じ数字を、前向きに読んだ

    在庫のExcelでは、手帳がこうなっていた。
    去年の11月は202冊出た。
    12月は58冊出たところで、在庫がなくなった。

    Claudeは、これを「12月に完売しました」と読んだ。
    そして11月の発注は「追加は少量のみ」。
    ChatGPTは、この在庫切れには触れなかった。

    でも、11月に202冊も出たのに、12月は58冊で在庫が尽きている。
    「本当はもっと売れたのに、売り逃した」とも読める。
    そう読めば、11月は多めに発注する判断になる。

    同じ数字でも、どう読むかで、発注が逆になる。

    気づかなかったところ

    あとで見返すと、ほかにもあった。
    正直、やっているときは気づかなかった。

    • ChatGPTも、同じ文の主語を「担当者2名が」に変えていた。「上司が頼んだ」が「担当者が自分で出た」に見える

    • 部長向けに丁寧にしてもらうと、ChatGPTは要旨の最後に「なお、」で、申請なしの部分をぼかして添えていた

    チームメンバーに、部長向けの報告書を清書してもらったら、
    自分に都合の悪い一文が、きれいに消えていた。
    ……いや、それ、いちばん部長に伝えないといけないやつ。

    同じAIでも、毎回同じではない

    おまけで、Claudeにもう一度試した。
    シークレットではない、ふつうのチャットで、同じお願いをした。

    今度は、こう直してきた。

    「担当者2名に土曜日に休日出勤してもらいました。なお、休日出勤の申請が行われていなかったため、事後申請の手続きを行い、勤務時間を正しく記録します。」

    上司が頼んだことも、申請がなかったことも、ちゃんと残っている。

    同じClaude、同じお願いなのに、直し方がまるで違った。

    画像
    同じ一文が、3通りに直された。

    AIには、頼んだ人の側に寄るクセがある。
    判断を頼むときは、そこに気をつけないといけない。

    でも、こちらに判断できるだけの力がないと、
    AIの判断をそのまま信じて、泥沼にハマる。

    見つけるときは、どちらも容赦なかった。
    寄り添ったのは、直すときだった。

    答え:同じAIでも、毎回同じ直し方をするとは限らない。だから最後は人が読む。


    04 試してみるときに、気をつけたこと

    自分でも試してみたい方の参考に。僕が気をつけたのは、この4つ。

    • 一時チャット・シークレットにした:ChatGPTの一時チャットは、最初「メモリ、カスタム指示を参照できます」と出ていた。右上で「パーソナライズなし」にして、メモリを使わないようにした。

    • 正解を先に決めた:仕込んだミスの一覧を先に作って、AIには渡さずに見比べた。先に決めておかないと、AIの答えに引っぱられる。

    • Claudeのシークレットでは、ファイルが作れなかった:Wordを返してもらえず、プログラムも動かせなかった。代わりに、直した全文を貼ってくれたり、確かめるためのPythonコードを付けてくれたりした。ふつうのチャットなら、Wordも返ってきた。

    • 本物の資料は使わなかった:お題は、全部架空の会社・架空の数字。仕事の資料で試すときは、会社のルールを確かめてから。


    おわりに

    講座は、2024年のままだった。

    その間に、AIは「頼んだ以上のこと」までやるようになっていた。
    でも、頼んだ人に寄り添うのも、上手になっていた。

    見つけるのは、任せていい。
    直してもらったあとは、自分で読む。

    そのためには、読んで判断できるだけの力が、自分にもいる。

    どうやら僕は、
    AIに直してもらった文章ほど、自分で読み直さないといけないらしい。


    おまけ:自分でも試してみたい方へ

    今回のお題を、そのまま試せるようにしました。

    • r1_logic_tree.png:ロジックツリー

    • r2_report.docx:Wordの月次報告書

    • r3_inventory.xlsx:在庫のExcel

    • answer_key.md:正解リスト(AIには渡さないでください)

    • prompts.md:講座のままの聞き方と、今どきの聞き方

    • README.md:使い方メモ

    講座のままの聞き方

    • ラウンド1:「この図は論理的でしょうか?」

    • ラウンド2:「このWordファイルに、タイポがないかチェックしてください」→「このWord文書の中に、コンプライアンス違反の内容が含まれていないかチェックしてください」

    • ラウンド3:「このExcelは、どういうデータですか?」→「商品ごとに、出荷数の平均値と中央値を教えてください」→「異常値はありますか?」→「その原因の仮説を考えてください」

    今どきの聞き方

    ラウンド1

    あなたは、経営会議の前に資料をチェックする、厳しいレビュアーです。
    この図をそのまま経営会議に出すと、どこを突っ込まれますか?
    「矛盾」「根拠として弱いところ」「抜けている観点」に分けて、重要な順に指摘してください。
    最後に、直した図の案を、文字で書いてください。

    ラウンド2

    部長に提出する前の月次報告書です。提出前の最終チェックをお願いします。
    次の観点で、見つけたものを全部、一覧にしてください(場所/いまの文/直した文/理由)。
    ・誤字、変換ミス、表記ゆれ
    ・本文と表の数字の食い違い、計算ミス
    ・日付のまちがい
    ・コンプライアンスの問題
    見つけたものを直したWordファイルも返してください。

    ラウンド3

    物流センターの在庫担当の課長として、来月(11月)の発注を決めたいです。
    添付のExcelを使って、次の順で進めてください。
    1. まず、データにおかしなところ(入力ミス、計算が合わない行、前月とつながらない数字など)がないか確認して、一覧にする
    2. 商品ごとに、出荷数の平均値と中央値を出す(計算した方法も書く)
    3. 気をつけるべき商品と、その理由
    4. 11月に多めに発注すべき商品、発注を止めるべき商品と、その理由
    計算はプログラムで行い、数字は推測しないでください。

    直してもらったファイルが返ってきたら、元の文と1行ずつ見比べてみてください。
    消えている一文が、あるかもしれません。

     
     

    sachi.

     
     
    普通の中間管理職が、AIという魔法を仕事で試す修行記録。成功も失敗も、ありのままに。

    あなたへのおすすめ