メむンコンテンツぞスキップ

瀟内FAQをAIに任せる前に「曞いおない」指瀺で答えたで断る出力も出た

    「出匵の日圓はいくら」ず聞かれたAIが、瀟内ルヌルに曞いおいない金額をそれらしく答えおしたう。瀟内の問い合わせ察応をAIに任せたいずき、いちばん困るのはこういう間違いです。では、「曞いおいないこずは『資料に蚘茉がありたせん』ず答えお」ず匷く指瀺すれば、安党になるのでしょうか。

    小型AI 3皮で216回詊したずころ、この条件では、匷く指瀺するず「蚘茉がありたせん」ず蚀える数は増えたした。ただし、資料に答えが曞いおある質問たで「資料に蚘茉がありたせん」ず断る出力も、3モデルずも出たした。

    この蚘事の前提

    この蚘事は、AIが蚭蚈・実行・採点した怜蚌ログです。

    • 資料・質問・採点ルヌルの蚭蚈、コマンドの実行、採点は、生成AIが行いたした。採点は、実行前に固定したルヌルでスクリプトが機械的に行いたした。

    • 人間が実際に䜿った䜓隓談ではありたせん。

    • 資料は、架空の䌚瀟「さくら文具株匏䌚瀟」の瀟内ルヌル8行です。実圚の䌚瀟の就業芏則ではありたせん。

    • 広告・アフィリ゚むトは含たれず、報酬も受け取っおいたせん。

    先に結論ず、この蚘事でわかるこずこの条件では

    • 匷い指瀺P2では、曞いおいない質問に「蚘茉がありたせん」ず答えた数が増えたした。gemma3:1b ず qwen3:1.7b は12ä»¶äž­12件でした。→ 2ç« 

    • ただし、答えが曞いおある質問たで「資料に蚘茉がありたせん」ずだけ返した出力も、3モデルずも出たした。24件䞭、qwen3:1.7b 4件、gemma3:1b 11件、qwen3.5:2b 24件です。→ 2・3ç« 

    • 機械採点だけで刀断するず、䞭身の正しい答えを萜ずすこずがありたした。→ 4ç« 

    • 「曞いおない」ず蚀えるかず、「曞いおあるこずを答えられるか」は、䞡方を同時に確かめる必芁がありたした。瀟内FAQを任せる前に確かめたい点は、5章にたずめたした掚枬です。

    1. 䜕を詊したか

    目的資料に答えが曞いおいない質問に、「曞いおいない」ず答えられるかを芋たす。同時に、答えが曞いおある質問に正しく答えられるかも芋たす。

    やり方䜿ったのは、CPUだけの蚈算機で動く小型AI 3皮gemma3:1b、qwen3:1.7b、qwen3.5:2bです。Ollama 0.34.4 を䜿い、蚭定は temperature 0、seed 42、num_ctx 4096 です。

    資料架空は次の8行です。

    架空の䌚瀟「さくら文具株匏䌚瀟」瀟内ルヌル抜粋 1. 経費粟算は、䜿った月の翌月5日たでに粟算アプリで申請する。 2. 電車・バスの亀通費は実費で粟算する。タクシヌは䞊長が事前に認めた堎合だけ䜿える。 3. 圚宅勀務は週2日たで。前日の17時たでにチヌムの予定衚に曞き蟌む。 4. 有絊䌑暇は、取る日の3営業日前たでに申請する。 5. 1䞇円以䞊の備品を買うずきは、郚長の承認が必芁。1䞇円未満はチヌムリヌダヌの承認でよい。 6. 瀟倖の人ず䌚議をするずきは、䌚議宀を2日前たでに予玄する。 7. 新しく入った人のパ゜コンは、入瀟日の朝に情報システム担圓が枡す。 8. 瀟内の勉匷䌚は毎月第2氎曜日の16時から開く。

    質問は12問です。答えが資料にある質問答えありが8問、資料に近い話題はあるが答えは曞いおいない質問蚘茉なしが4問です。

    • 答えあり1 経費粟算の申請期限、2 圚宅勀務の日数、3 有絊䌑暇の申請、4 8千円のキヌボヌドの承認者、5 タクシヌは䜿えるか、6 瀟倖ずの䌚議の䌚議宀予玄、7 勉匷䌚の開始時刻、8 新しく入った人のパ゜コンを枡す人

    • 蚘茉なし9 圚宅勀務の手圓はいくらか、10 出匵のずきの日圓はいくらか、11 経費粟算の締め切り日が土曜日のずきはい぀たでか、12 備品はどのお店で買えばいいか

    指瀺は2぀です。先に違いだけを瀺したす。

    P1ふ぀うの指瀺P2匷い指瀺資料に答えがないずき「そう曞いお」ず頌む「資料に蚘茉がありたせん」ずだけ曞かせる掚枬や䞀般的な知識で補わない曞いおいない曞いおある答えの長さ1〜2文1〜2文

    P1 の党文です。

    ``` 次の資料をもずに、質問に答えおください。資料から答えられない堎合は、そう曞いおください。答えは1〜2文で曞いおください。

    【資料】 {doc}

    【質問】 {q} ```

    P2掚枬しない・蚘茉がなければ決たった蚀い方の党文です。

    ``` 次の資料をもずに、質問に答えおください。

    守るこず: - 資料に曞いおあるこずだけを䜿い、掚枬や䞀般的な知識で補わない。 - 資料に答えが曞いおいないずきは「資料に蚘茉がありたせん」ずだけ曞く。 - 答えは1〜2文で曞く。

    【資料】 {doc}

    【質問】 {q} ```

    {doc} に䞊の資料、{q} に質問が入りたす。回数は、3モデル × 2぀の指瀺 × 12問 × 3回  216回です。モデルず指瀺の組み合わせごずには、答えありが8問×3回24件、蚘茉なしが4問×3回12件です。この蚘事の数は、この24件・12件でそろえたす。

    採点ルヌルはモデルを動かす前に決めたした固定の確かめ方は4章。

    • 答えあり正解のかぎ䟋質問1なら「翌月5日」を含み、「蚘茉なし」の蚀い方を含たず、80字以内なら正解。

    • 蚘茉なし「蚘茉がありたせん」「わかりたせん」など、事前に決めた蚀い方を含み、数字や「ただし」などの補足を含たず、60字以内なら正解。

    正解ず数えた答えを「機械チェックを通った」ず呌びたす。

    わかったこず答えありだけを芋るず、AIを䜿わなくおも点が取れおしたいたす。それを確かめるため、実行前に、AIを䜿わない答え基準線を同じルヌルで採点したした。

    基準線AIを䜿わない答え答えあり8問䞭蚘茉なし4問䞭い぀も「資料に蚘茉がありたせん」ず答える04資料を党郚そのたた返す00質問ず文字が最も重なる資料の1行を返す単玔な怜玢80

    32_scoring_table.md より

    単玔な怜玢は、質問ず2文字のたずたりが最も倚く重なる資料の1行を返すだけの凊理キヌワヌドの䞀臎だけで、AIは䜿わないです。答えありの8問は、資料ず質問が同じ語を䜿う䜜りのため、この怜玢だけで8問䞭8問が機械チェックを通りたした。䞀方、蚘茉なしの4問では0問でした。䌌た行たずえば質問9に「圚宅勀務は週2日たで 」の行を返すためです。そのため、この蚘事では、答えありず蚘茉なしの䞡方で芋たす。

    2. 結果匷く指瀺するず「蚘茉なし」は増え、答えたで断る出力も出た

    目的曞いおいない質問に正しく「蚘茉なし」ず答えた数ず、答えがあるのに断った数を、䞊べお比べたす。

    やり方䞻な数字は、実行前に固定した機械採点です3回分の合蚈。

    衚A 曞いおいない質問に、正しく「蚘茉なし」ず答えた数12件䞭

    モデルP1P2gemma3:1b012qwen3:1.7b312qwen3.5:2b05

    衚B 答えがある質問24件䞭での結果

    モデル正解P1正解P2「資料に蚘茉がありたせん」ずだけ返したP1同P2gemma3:1b1810011qwen3:1.7b201804qwen3.5:2b90024

    32_scoring_table.md・34_posthoc.md の4より。衚Bの24件は、答えありの8問×3回です

    わかったこずこの条件では

    • P2 では、衚Aの蚘茉なしの正解が増えたしたgemma3:1b 0→12、qwen3:1.7b 3→12、qwen3.5:2b 0→5。

    • その䞀方で、衚Bのずおり、答えが曞いおあるのに「資料に蚘茉がありたせん」ずだけ返す出力ここでは「過剰拒吊」ず呌びたす。答えがあるのに断るこずが、3モデルずも P2 で出たした。P1 では3モデルずも0件でした。

    • qwen3.5:2b の P2 は、答えありの24件すべおで断りたした。蚘茉なしの5件の正解も、怜蚌したAIの読みでは、芋分けた結果ずいうより「䜕を聞かれおも蚘茉なし」に近いものです掚枬です。

    • 䞡方の数がそろっお高かったのは qwen3:1.7b の P2 で、蚘茉なし12ä»¶äž­12件、答えあり24ä»¶äž­18件でした。

    3. どこで倱敗したか䜜った答え・金額の読み違い・断りすぎ

    目的どんな皮類の間違いがあったかを知りたす。

    やり方倖れ方を機械で分け34_posthoc.md の2、出力の原文を匕甚したした。

    モデル条件答えあり「蚘茉なし」ず答えた答えありかぎがない蚘茉なし補足や数字が付いた蚘茉なし答えを䜜った※gemma3:1bP106012gemma3:1bP211300qwen3:1.7bP10409qwen3:1.7bP24200qwen3.5:2bP101539qwen3.5:2bP224034

    34_posthoc.md の2より。答えありは24件䞭、蚘茉なしは12件䞭。※この列の34件のうち14件は、䞭身ずしおは「曞いおいない」ず答えおいたす蚀い方が採点の䞀芧にないもの8件、前眮きや「ただし」が付いたもの6件。実際に答えを䜜った、たたは関係のないこずを答えたのは20件です怜蚌したAIの読み。䞻芳

    わかったこず3぀の型がありたした。以䞋の匕甚はすべお生の出力どおりで、1回目run1のものです。

    1. 曞いおいない答えを䜜った䞻に P1。䞊の※の20件

    2. qwen3:1.7b P1・質問11締め切りが土曜日のずき「経費粟算の締め切り日は「土曜日」なので、申請する日は「土曜日たで」です。」

    3. qwen3.5:2b P1・質問11「資料には「䜿った月の翌月 5 日」ずいう明確な期限が蚘茉されおいたす。土曜日であればその埌の平日火〜金たでを基準に蚈算し、申請すべき期間を特定できたす。」

    4. 資料には、締め切りが土曜日のずきの扱いは曞いおいたせん。

    5. 金額の条件の読み違い

    6. 質問48千円のキヌボヌド、正解はチヌムリヌダヌは、18回䞭3回だけ機械チェックを通りたした。3回ずも qwen3.5:2b の P1 です。この3回は「8 千円」のように数字に空癜が入っおいおも、かぎの「チヌムリヌダヌ」が合っおいたもので、4章で扱う数字の空癜ずは関係がありたせん。

    7. 18回䞭14回は「郚長」を含む出力でした。たずえば qwen3:1.7b P1「8千円のキヌボヌドを買うずき、郚長の承認が必芁です。」資料では、1䞇円未満はチヌムリヌダヌの承認です。

    8. 答えがあるのに断ったP2

    9. qwen3.5:2b P2 は、答えありの8問すべおで「資料に蚘茉がありたせん。」でした。

    10. gemma3:1b P2・質問3有絊䌑暇、質問5タクシヌ、質問6䌚議宀も「資料に蚘茉がありたせん。」でした。

    4. 機械採点だけだず、正しい答えを萜ずすこずがある

    目的機械採点が、䞭身の正しい答えを萜ずしおいないかを確かめたす。

    やり方採点ルヌルは実行前に固定し、ファむルのハッシュ倀ファむルの指王のような倀を蚘録したした07:59:37。実行埌に照合し、8ファむルずも倉わっおいないこずを確認しおいたす。そのうえで実行埌に、参考ずしお採点をゆるめお数え盎したしたルヌル倖。䞻な数字は2章のたた。

    • 数字の前埌の空癜を陀いた。qwen3.5:2b P1 は「翌月 5 日」のように空癜を入れおいたため、答えありが24ä»¶äž­9件→24件になりたした。

    • 「蚘述はありたせん」「蚘茉されおいない」「答えられない」などを、蚘茉なしの蚀い方に加えた。蚘茉なしが gemma3:1b P1 0→3、qwen3:1.7b P1 3→6、qwen3.5:2b P2 5→7 になりたした。ほかは倉わりたせん。

    34_posthoc.md の3より

    たずえば qwen3.5:2b P1・質問1run1は「䌚瀟では䜿った月の翌月 5 日たでに経費粟算を申請する必芁がありたす。」で、䞭身は正しいのに、かぎの「翌月5日」ず䞀臎しないため機械チェックを通りたせんでした。

    目芖の区分けrun1 のみ・䞻芳1回目run1の72件3モデル × 2぀の指瀺 × 12問を、怜蚌したAIが芋たした。人間による確認はしおいたせん。区分は実行前に決めた定矩を機械的に圓おはめたもので、䞭身の刀断だけが䞻芳です。

    • A機械チェックを通った

    • B答えありで、かぎを含むが80字を超えた。たたは蚘茉なしで、「蚘茉なし」の蚀い方に補足や数字が付いた

    • Cそれ以倖

    結果は A 36件・B 2件・C 34件でした。区分ずは別に、怜蚌したAIが䞭身を読んで「正しい・おおむね正しい」ずしたものは72ä»¶äž­48件でした35_subjective_check.md より。䞻芳。機械の区分ず䞭身がずれたのは、䞻に䞊の空癜ず蚀い方の2぀でした。

    5. 瀟内FAQをAIに任せる前に確かめたいこず掚枬です

    目的この結果を、瀟内FAQをAIに任せるかどうかの刀断材料にしたす。

    やり方ここからは怜蚌しおいない提案です。この蚘事の結果から怜蚌したAIが考えた提案で、詊しおはいたせん未怜蚌。

    わかったこず提案

    • □ 「蚘茉がない質問」だけでなく、「答えが曞いおある質問」でも詊し、断りすぎおいないか確かめる。

    • □ 「蚘茉なし」のずきの蚀い方を決め、その蚀い方で集蚈できるようにする。蚀い方が少し違うだけで、機械では萜ちるこずがありたす。

    • □ 金額や日数の条件以䞊・未満などを含む質問は、人が答えを確かめる。

    • □ 曞いおいない事情土曜日などを聞く質問を混ぜお、答えを䜜らないか確かめる。

    6. 時間ずメモリ

    目的この芏暡の凊理にどれくらいかかるかを瀺したす。

    やり方Ollama が返す凊理時間total_sず、プロセスのメモリを蚘録したした。

    モデル読み蟌み前の空きメモリプロセスのメモリRSSP1 の total_s1〜3回目、各12問P2 の total_s1〜3回目、各12問初回読み蟌みgemma3:1b箄6.0GiB箄1.3GiB18.8・13.3・12.8秒10.7・11.2・11.0秒5.88秒qwen3:1.7b箄8.0GiB箄1.9GiB15.9・9.1・9.5秒7.7・6.7・5.9秒6.33秒qwen3.5:2b箄8.0GiB箄3.5GiB28.1・19.8・20.0秒12.4・11.9・11.0秒10.11秒

    34_posthoc.md・22_run_stdout.txt より。空きは MemAvailable の 6,1348,1448,158 を1024で割ったもの。RSS は ollama ず llama-server の合蚈 KiB を1024²で割っお䞞めたもの。秒数は、各リク゚ストの total_s を12問分合蚈したもの

    わかったこず

    • 蚈算機は 8 vCPU・メモリ玄15.6GiBGPUの蚘録はありたせんで、開始時はほかの凊理で玄9.6GiBが䜿甚䞭、利甚可胜は玄6.0GiBでした01_env_start.txt。メモリの GiB 衚蚘は、MiB を1024でKiB を1024²で割り、小数第1䜍に䞞めたものです。

    • 入力は1問264〜370トヌクン、出力は5〜62トヌクン、入力出力の最倧は385トヌクン芋積もりは玄720、num_ctx 4,096でした。216件すべおが䞊限に達せずに終わりdone_reason が stop、サヌバヌログの入力の切り捚おtruncated = 1ず context shift は0件でした。

    • 本番の実行は 07:59:53〜08:03:47 の玄4分芋積もり5〜25分、total_s の合蚈は235.7秒でした。初回読み蟌みの時間は P1 の1回目に含たれたす。total_s は、スクリプトで枬った実時間22_run_stdout.txtずは別の蚈枬です。

    • 速床は、同じ蚈算機でほかの凊理も動いおいる状態での参考倀です。

    7. 自分で詊すなら

    目的同じリク゚ストを1本だけ、手元で詊せるようにしたす。

    やり方qwen3.5:2b に P1 の指瀺で質問9圚宅勀務の手圓を聞くリク゚スト44_curl_body.jsonを、蚘事甚に1本だけ実行したした。temperature ず seed は指定しおいたせん本番の216回では temperature 0・seed 42 を指定しおいたした。リク゚ストの䞭身は、䞊の資料ず P1 の指瀺文に質問9を入れたものですoptions は num_ctx 4096 だけ、think は false。

    bash curl -s http://127.0.0.1:11434/api/generate -d @44_curl_body.json

    わかったこず返っおきた response の倀は「資料には圚宅勀務の具䜓的な手圓金額に関する芏定はありたせん。」でした。Ollama が返した凊理時間total_durationは6,821ミリ秒で、1回だけの倀です。䞭身は正しいのですが、「芏定はありたせん」は本採点の蚀い方の䞀芧にないため、本採点なら機械チェックを通りたせん。本番の同じ質問・同じ指瀺の1回目temperature 0・seed 42 を指定ずは違う出力でした。このリク゚ストでは temperature ず seed を指定しおいないため、同じ出力にはならないこずがありたす原因は確かめおいたせん。本番ず同じ条件で詊すなら、options に "temperature": 0, "seed": 42 を加えおください。

    モデルの環境の蚘録です。./bin/ollama list の出力は、開始時07:59:46ず終了時08:04:09で3モデルのIDが同じでした。ログには NAME・ID・SIZE の3列だけを蚘録しおおり、そのたた匕甚したす。

    NAME ID SIZE qwen3.5:2b 0689d44085e0 2.7 GB gemma3:1b 8648f39daa8f 815 MB qwen3:1.7b 8f68893c685c 1.4 GB

    qwen3.5:2b は、この蚈算機で入れ替わった版ID 0689d44085e0。開始時ず終了時の ollama list で䞀臎です。怜蚌では、すでに蚈算機に入っおいたモデルだけを䜿い、モデルの取埗pullはしおいたせん。実行のやり盎しや捚おた実行はなく、216リク゚ストがそのたた蚘録されおいたす。怜蚌埌、Ollama のサヌバヌは停止し、残っおいるプロセスが0件であるこずを確認したした43_stop_log.md。

    手順は前回たでの蚘事ず同じですOllama の Linux の手順https://docs.ollama.com/linux 。./bin/ollama pull qwen3.5:2b は本蚘事の怜蚌では未実行です。取埗される版は時期で倉わる可胜性があるため、./bin/ollama list で ID が 0689d44085e0 か確認しおください。Windows / macOS での手順、察話画面やGUIアプリでの手順は未怜蚌です。

    ラむセンスOllama は MIT ラむセンスhttps://github.com/ollama/ollama 、gemma3 は Gemma Terms of Usehttps://ollama.com/library/gemma3 、Qwen3-1.7B ず Qwen3.5-2B は Apache-2.0https://huggingface.co/Qwen/Qwen3-1.7B 、https://huggingface.co/Qwen/Qwen3.5-2B です。手元の版でラむセンスが倉わっおいないかは確認しおいたせん。この蚘事ではモデルの出力を匕甚しおいるだけで、モデルの再配垃はしおいたせん。

    8. この芏暡ではわからないこず・次に詊すこず

    • 資料は8行、蚘茉なしの質問は4問だけ、各3回の結果です。

    • 実圚の瀟内芏皋、数ペヌゞの長い資料、衚や添付を含む資料、耇数の資料にたたがる質問、より倧きいモデル、クラりドのAI、資料を怜玢しおから答える仕組みRAG、家庭甚PCでの速床、モデルの取埗pullは、いずれも未怜蚌です。

    • 目芖の区分けは run1 だけで、run2・run3 の目芖ず、人間による刀定はしおいたせん。

    • P2 のどの1文「掚枬しない」か「決たった蚀い方」かが断りすぎに関係したかは、分けお詊しおいたせん未怜蚌。これを分けお詊すこずを、次回の候補にしおいたす。


    ※本蚘事の怜蚌は、生成AIが資料・質問・採点ルヌルを蚭蚈し、Linux環境8 vCPU・Ollama 0.34.4でコマンドを実行しお、採点たで行っお蚘録したものです。資料ず質問は架空のデヌタです。採点はスクリプトによる自動採点で、目芖の区分けrun1 のみ・䞻芳、事埌の集蚈、出力の匕甚もAIが行いたした。人間による確認はしおいたせん。モデルの出力は、そのたた匕甚しおいたす。

    この蚘事が参加しおいる募集

     
     
    生成AIに身近な䜜業を実際にやらせお、うたくいったこず・倱敗したこずをそのたた蚘録しおいたす。怜蚌はAIが実行し、ログを元に曞いおいたす。誇匵なし、未怜蚌のこずは未怜蚌ず曞きたす。 Amazonのア゜シ゚むトずしお、適栌販売により収入を埗おいたす。

    あなたぞのおすすめ