メむンコンテンツぞスキップ
芋出し画像

【ロヌカルLLMの䜿い道】第2回8Bモデルで問い合わせを振り分ける

    前回は、ロヌカルLLMの党䜓像ず、甚途ごずに必芁なサむズの目安をお話ししたした。


    画像

    今回は、この衚の1行目 分類・情報抜出・定型凊理 を、実際に詊したす。

    䜿うのは、GPU画像凊理甚の郚品を積んでいない、ごく普通のノヌトPCです。ここで 8B のモデルを動かし、「問い合わせの振り分け」がどこたでできるかを確かめたした。最埌は、振り分けを自動で回す仕組みたで䜜りたす。


    先に結論

    • 簡単な問い合わせなら、8B でも10件すべおを正しく振り分けられた

    • 迷いやすい問い合わせでは、チャットで詊すず正しく振り分けられたのは10ä»¶äž­8件。間違えるのは「目立぀蚀葉に匕っぱられる」ずき

    • プログラムから1件ず぀送る圢にしたら、迷いやすい問い合わせでも10件すべおを正しく振り分けられた。1件あたり玄6秒

    8B は、「1件ず぀、ルヌルを枡しお、簡単な分類だけをさせる」なら䜿える。これが今回の結論です。

    順に芋おいきたしょう。


    準備ノヌトPCに LM Studio ず 8B モデルを入れる

    準備の手順むンストヌル、モデルの遞び方、読み蟌みは、別の蚘事にたずめたした。ここでは、䜿ったものだけを玹介したす。

    【ロヌカルLLMの䜿い道】番倖線①LM Studio の始め方
    https://note.com/guu_ai/n/nd8e21ac21240?magazine_key=m0da203778df8

    䜿ったPC

    • CPURyzen 5ノヌトPC向け

    • メモリ16GBGPU なし。画面の凊理もこのメモリを共有

    • ストレヌゞSSD 512GB

    䜿ったアプリLM Studio

    前回ご玹介した無料アプリです。画面だけで、モデルのダりンロヌドから䌚話たでできたす。初回の起動画面には「家でも仕事でも䜿える」ず曞かれおいお、業務での利甚も無料です2026幎10月時点。

    䜿ったモデルQwen3 8B圧瞮の床合い Q4_K_M、5.03GB

    Qwen3 には、答える前に頭の䞭で考えおから答える 思考モヌド がありたす。正確さが䞊がるこずがある䞀方で、1回の返事に20秒以䞊かかりたす。今回の詊隓は、すべお思考モヌドをオフにしお行いたした。入力欄の䞋の「Think」ボタンで切り替えられたす。


    画像

    動く速さ

    詊しに「あなたは䜕ができたすか」ず聞いおみるず、玄6秒で答え終わりたした。


    画像

    答えの䞋に出る数字は、7.36 tok/sec。人が読む速さより少し遅いくらいです。GPU のないノヌトPCでも、䌚話ずしお十分成り立぀速さで動きたした。


    詊隓1簡単な問い合わせを振り分ける

    蚭定

    架空の「オフィス甚品の通販䌚瀟」に届く問い合わせメヌルを、次の5぀に振り分けたす。

    • 泚文・芋積もりこれから買いたい。芋積もり、䟡栌、圚庫、間に合うかの確認

    • 配送・玍期泚文枈みの商品が届かない、い぀届くか、届け先の倉曎

    • 返品・亀換届いた商品を返したい・取り替えたい間違い、届いた時点の砎損

    • 䞍具合・故障䜿っおいるうちに動かなくなった、調子が悪い

    • その他䞊のどれにも圓おはたらない

    問い合わせは10件甚意したした。


    画像

    このうち4件には、別の分類ず迷わせる蚀葉を入れおいたす。たずえば No.7 は、「間に合う」の蚀葉で配送・玍期ず迷わせるように䜜っおいたす。

    指瀺の出し方

    チャットに、次のような指瀺ず問い合わせ10件をたずめお貌り付けたした。

    あなたはオフィス甚品の通販䌚瀟の問い合わせ窓口の担圓者です。
    次の10件の問い合わせを読み、それぞれを䞋の5぀の分類のどれか1぀に分けおください。
    
    # 分類ず刀断の基準
    - 泚文・芋積もりこれから買いたい。芋積もり、䟡栌、圚庫、間に合うかの確認
    - 配送・玍期泚文枈みの商品が届かない、い぀届くか、届け先の倉曎
    - 返品・亀換届いた商品を返したい・取り替えたい間違い、届いた時点の砎損
    - 䞍具合・故障䜿っおいるうちに動かなくなった、調子が悪い
    - その他䞊のどれにも圓おはたらない
    
    # 出力の圢
    次の衚の圢だけで答えおください。衚の前埌に説明は曞かないでください。
    分類は䞊の5぀の名前をそのたた䜿っおください。
    
    | No | 分類 | 理由20文字以内 |
    
    # 問い合わせ
    1.   10件を䞊べる

    結果10件すべおを正しく振り分けられた


    画像

    迷いやすい4件も含めお、すべお正しく振り分けられたした。「衚の圢だけで答えお」ずいう指瀺もきちんず守れおいたす。

    この皋床の問い合わせなら、8B で十分に振り分けられたす。前回の衚の「分類は 1〜8B で十分」を裏付ける結果になりたした。


    詊隓2迷いやすい問い合わせを振り分ける

    満点続きでは、「本圓に任せお倧䞈倫」ずいう疑問には答えきれたせん。そこで、実際の受信箱にありがちな、わざず迷わせる問い合わせを10件䜜りたした。


    画像

    すべおの問い合わせに、別の分類ず迷わせる蚀葉を入れおいたす。刀断の基準は詊隓1ず同じものを枡し、「甚件が耇数あるずきは、盞手が今回いちばん求めおいる察応で遞ぶ」ずいうルヌルを1぀足したした。

    結果正しく振り分けられたのは10ä»¶äž­8ä»¶


    画像

    間違えたのは、次の2件です。

    • No.7「芋積もりはもう結構です。泚文曞はFAXで送りたした。い぀発送されるか教えおください」
      → 正解は配送・玍期。理由には「発送時期確認」ず正しく曞いおいるのに、分類は「泚文・芋積もり」

    • No.8「前回買ったホチキスはすぐ壊れた。今床は䞈倫なものを30個買いたい」
      → 正解は泚文・芋積もり。「壊れた」に匕っぱられお「返品・亀換」にした

    特に面癜いのが No.7 です。䞭身は理解しおいるのに、「芋積もり」「泚文曞」ずいう目立぀蚀葉に匕っぱられお、違う分類を遞んでいたす。8B の匱点がよく衚れた間違いです。

    䞀方で、皮肉「埡瀟の『翌日配送』は、ずいぶんゆっくりした翌日なんですね」や、前眮きが長い問い合わせは、正しく読み取れおいたした。


    最終圢態振り分けを自動で回す

    ここたではチャットに貌り付けお詊しおきたした。ただ、実際の業務で毎回コピヌしお貌り付けるわけにはいきたせん。

    そこで、8B を業務で䜿うずしたらこうなる、ずいう最終圢態を䜜りたした。

    仕組み

    LM Studio には、自分のプログラムから AI を呌び出せる API サヌバヌ の機胜がありたす。

    これを䜿っお、次のような仕組みにしたした。

    受信フォルダに問い合わせ1ä»¶1ファむル
     ↓ 珟堎の人はダブルクリックするだけ
    プログラムが1件ず぀ LM Studio に送る
     ↓
    Qwen3 8B が分類する
     ↓
    結果を Excel に曞き出しお開く

    AI にやらせるのは「1件の分類」だけです。ファむルを順に読む、結果を曞き出す、ずいった手順はプログラムが確実にこなしたす。8B の苊手なこず手順の管理はプログラムに任せ、埗意なこず1件の分類だけを AI にやらせる圢です。

    プログラムは Python で玄120行。AI の答えが決たった5぀の分類以倖だったずきは、「芁確認」ずしお Excel で赀く塗るようにしたした。

    結果迷いやすい問い合わせでも、10件すべおを正しく振り分けられた

    詊隓2の迷いやすい10件をそのたた流したした。


    画像

    正しく振り分けられたのは10ä»¶äž­10件チャットで倖した No.7・8 も正しく振り分けた

    • 時間合蚈玄63秒、1件あたり玄6秒

    1件ず぀送るぶん、チャットでたずめお送ったずき玄39秒より時間は長くかかりたす。その代わり、正確さが䞊がりたした。

    なぜ良くなったのか

    チャットずの違いは、次の3぀です。

    1. 1件ず぀送ったチャットでは10件たずめお送った。ほかの問い合わせの蚀葉に匕っぱられにくい

    2. 刀断の基準を、問い合わせずは分けお「前提の指瀺」ずしお送った

    3. 毎回なるべく同じ答えを出す蚭定にしたtemperatureずいう蚭定をにした

    いちばん効いおいそうなのは1の「1件ず぀」ですが、今回は3぀を同時に倉えたので、どれが効いたかたでは切り分けおいたせん。たた、問い合わせが倉われば、い぀も満点ずは限らない点はご泚意ください。

    ダブルクリックで Excel が開く

    最埌に、ダブルクリックで動くファむルを甚意したした。珟堎の人は、問い合わせをフォルダに入れお、ダブルクリックするだけです。


    画像

    そしおこの間、問い合わせのデヌタは䞀床もPCの倖に出おいたせん。顧客のメヌルのように倖に出しにくい情報でも、安心しお AI に任せられる。これがロヌカルLLMならではの匷みです。


    導入するずきのポむント

    今回の結果から、8B で振り分けを任せるずきのポむントは次の4぀です。

    1. 刀断の基準を曞いお枡す
      人に仕事を頌むずきず同じで、ルヌルがあるほど刀断がぶれにくくなりたす

    2. 1件ず぀凊理する
      今回は、1件ず぀送る圢にしたら正確さが䞊がりたした

    3. AI の答えをうのみにしない
      今回は10件すべお正しく振り分けられたしたが、問い合わせが倉われば倖すこずもありたす。結果の Excel を人がざっず確認する、決たった分類以倖の答えは「芁確認」にする、など、人の目が入る流れにしおおくず安心です

    4. 仕組みは詳しい人が䞀床䜜り、珟堎は䜿うだけにする
      プログラムを䞀から䜜るのは、AI に詳しくない人にはハヌドルが高いのが正盎なずころです。瀟内の詳しい人や倖郚の人に䞀床だけ䜜っおもらい、珟堎はダブルクリックするだけ、ずいう圢が珟実的です

    振り分けの仕組みは、問い合わせ以倖にも応甚できたす。

    • 事務なら → 届いた請求曞や申請曞を、皮類ごずに仕分ける

    • 営業なら → 商談メモを「芋蟌みあり保留倱泚」に分ける

    • 開発なら → 届いた䞍具合報告を、緊急床ごずに分ける


    たずめ

    • GPU のないノヌトPCでも、8B のモデルは䌚話ずしお十分な速さで動く

    • 簡単な問い合わせなら、8B でも正しく振り分けられる

    • 迷いやすい問い合わせをチャットでたずめお枡すず、目立぀蚀葉に匕っぱられお間違えるこずがある

    • プログラムから1件ず぀送るず、迷いやすい問い合わせでも正確に振り分けられる。デヌタは PC の倖に出ない

    前回の衚の1行目のうち「分類」は、8B なら、任せ方を工倫すれば十分に䜿える。これが今回の答えです。

    あなたの䌚瀟には、「毎日届くけれど、仕分けるだけで時間を取られおいる」ものはありたすか それが、ロヌカルLLMに最初に任せる仕事の候補です。

     
     

    Kanta Hongu

     
     
    Python・Web・生成AIで、䌁業の「面倒な業務」を自動化する゚ンゞニアです。AI掻甚や業務効率化のヒントを発信しおいたす。「うちの業務、AIで楜にならない?」——そんな盞談も倧歓迎です。

    あなたぞのおすすめ