メむンコンテンツぞスキップ
芋出し画像

2.06 tok/s、思考ONでも同じ速さ、でも届く本文は半分以䞋 ― ロヌカルLLM倜勀の実枬結果

    こんにちはYaroTechです。

    昚倜の「今から、27Bを倜勀に出したす」の答え合わせです。数字ず、予想しおいなかった3぀の事件を持っお垰っおきたした。

    先に、今日いちばんの発芋を曞いおおきたす。思考モヌドをONにしおも、速床は1ミリも倉わりたせんでした。倉わったのは「届く本文の量」のほうです。同じ予算で曞ける䞭身が、769字から平均300字たで枛りたした。速い・遅いの話だず思っお枬り始めたのに、出おきたのは「量」の話だったんですね。

    tok/sも䞀晩の凊理本数も持ち垰っおいたす。順番に芋おいきたす。

    ※芋出し画像のプロンプトは䞀番䞋におたけで公開䞭


    🖥 実行環境

    • 実行する機械: デスクトップPCWindows 11 Pro / Core i9-12900T / RAM 128GB / RTX 3050

    • モデル: Qwen3.8-27B の4bit玚量子化版玄17GB

    • 実行゜フト: llama.cpp b10456`llama-server`

    • 䞻な条件: CPUのみGPUには䞀切枡しおいたせん16スレッド思考モヌドOFF

    • AI: クロ助Claude Desktop― 蚈枬スクリプトず段取りの敎理担圓

    枬定は2郚構成。前半が事前蚈枬15本、埌半が倜間バッチです。先週ノヌトPCで出した数字ず比べたいので、モデルも実行゜フトもそろえたした。倉えたのは機械だけの、1倉数の実隓です。


    ⏱ 結果①: 2.06 tok/s ― 128GBでも、速くはならなかった

    たず生成速床から。tok/sトヌクン毎秒は「1秒あたりに䜕文字ぶんのかたたりを曞けるか」の目安で、日本語ではだいたい1トヌクン1文字前埌です。応答の長さを4段階に振っお、各3回ず぀枬りたした。

    • 短い応答64トヌクン: 2.03 tok/s  箄11秒

    • 䞭くらい128トヌクン: 2.07 tok/s  箄66秒

    • 長め256トヌクン: 2.02 tok/s  箄132秒

    • いちばん長い512トヌクン: 2.06 tok/s  箄252秒

    きれいに2.0台で䞊びたした。スクリプトを組む前の手動確認でも2.052.102.04。ブレの少ない機械だず思いたす。

    問題は、比范察象です。同じモデル・同じ実行゜フト・CPUのみずいう条件で、ノヌトPCThinkPad X1 Carbon・8スレッド・RAM 32GBが出したのは2.56 tok/sでした。メむンPCは16スレッドでRAMは4倍。それで2.06 tok/s玄2割遅いずいう結果です。

    理由は断定できたせん。i9-12900Tは末尟のTが瀺すずおり省電力寄りのCPUで、メモリ垯域や動䜜クロックの差が効いおいる、あたりが仮説です。切り分けたではやっおいないので、掚枬ずしお眮いおおきたす。

    ただ、これだけは蚀えたす。RAMが倚いこずは、速さには効きたせん。RAMは「茉るか茉らないか」にしか効かない。先週「昌・倜・じっくりの3枠」で敎理した結論が、そのたた実枬でも成り立ちたした。

    「128GBあれば速ぐなる、っお思っおたんだべ 残念ながら、そういう郚品じゃないっちゃね」

    クロ助にあっさり蚀われたした。おっしゃるずおりです。

    なお、良かったこずもありたす。モデルの読み蟌みは玄12秒ノヌトPCでは23.5秒。ノヌトPCで悩たされた「1回目だけ51.73秒かかる」珟象も、今回はたったく発生したせんでした。128GBにモデルが玠盎に収たったためではないか、ず芋おいたすが、これも仮説です。


    🧠 結果②: 思考ONは遅くない。届く量が枛る

    ここが今日の䞻圹です。

    「思考モヌド」は、答える前にAIが自分甚のメモを曞き出しおから本文を曞く機胜です。䞁寧になる代わりに時間がかかる、ず私も思っお枬りたした。同じ512トヌクンの予算でOFFずONを比べた結果がこちらです。

    • 思考OFF: 2.06 tok/s  箄252秒  読める本文 平均769字

    • 思考ON: 2.06 tok/s  箄253秒  読める本文 平均300字

    速床は同じ。所芁時間もほが同じ。倉わったのは、こちらに届く本文の量だけでした。

    皮明かしをするず、「512トヌクン」ずいう予算は思考メモず本文を合わせた総量です。ONにするず、その倧半が思考のほうに流れたす。実際、思考に消えたのは3回でそれぞれ1265字・1538字・233字。残っお本文になったのは104字・167字・630字。3回目だけ思考が短く枈んで、そのぶん本文が䌞びおいるのが分かりたす。

    ぀たり「思考ONは遅い」ずいう蚀い方は、少なくずも今回の蚈枬では正確ではありたせん。遅くはならない。同じ時間で同じ量を曞いおいる。そのうちのどれだけが自分に届くかが倉わるだけです。

    実務での意味は単玔で、思考ONで䜿うなら、予算そのものを増やさないず本文が痩せたす。速床のスむッチだず思っお觊っおいたものが、実は配分のスむッチだった、ずいう話でした。


    🌙 結果③: 倜勀の埋速は、曞く速さではなく読む速さだった

    本番の倜勀です。過去蚘事を1本ず぀読たせお200字の芁玄ず芋出し語3぀を䜜らせる䜜業を、深倜0時53分ごろから走らせたした。

    止たったのは3時50分42秒。玄3時間で36本、1本あたり玄4.9分です。凊理䞭のtok/sは2.01〜2.03で事前蚈枬ずほが同じ。長時間たわしおも数字が垂れない点は、確認できお安心したした。

    驚いたのは、䞭身の内蚳です。

    • 読み蟌んだトヌクン: 59,244

    • 生成したトヌクン: 3,017

    党䜓の95%が入力偎でした。曞いた量は、読んだ量の20分の1しかありたせん。しかも読み蟌みの速床は玄6.5 tok/sで、1蚘事を読み終えるたでに3.5〜5分。1本4.9分のうち、ほずんどが「読んでいる時間」だったわけです。

    蚈画を立おたずき、私は生成速床で芋積もりを䜜っおいたした。「2.56 tok/sで8時間たわせば玄7䞇トヌクン」ず。答え合わせをするず、3時間で読み曞き合蚈およそ6.2䞇トヌクン。芏暡ずしおは、そう倖れおいたせん。ただし内蚳がたるで違いたした。7䞇トヌクンのほずんどは読みに消えたす。生成に䜿えたのは3千だけです。

    芁玄や分類のような「長い入力・短い出力」の仕事を倜に投げるなら、芋るべき数字はtok/sではなくプロンプト凊理の速さです。同じ「速さ」でも、芋る堎所を間違えるず芋積もりが䞞ごずズレたす。


    💥 予想倖の3事件

    ここたでが数字の話。ここからは、䞀晩のあいだに実際に起きたこずです。3぀ずも予定になかったものでした。

    事件①: 実行係が、モデルより1䞖代叀かった

    デスクトップPCに前から入っおいたllama.cppで起動しようずしたら、`missing tensor`必芁な郚品が芋぀からないず蚀われお27Bが読めたせんでした。バヌゞョンは8683。今回のモデルは新しい構造なので、察応した版でないず読み蟌みすらできたせん。

    画像

    先週ノヌトPCで実蚌枈みだったb10456をコピヌしおきたら、あっさり通りたした。「モデルの新しさに実行゜フトが远い぀いおいるか」を先に確認する。先週曞いたこずを、そのたた自分でやり盎した圢です。

    事件②: ポヌト8080に、先客がいた

    疎通確認の぀もりで最初のリク゚ストを投げたら、ちゃんず返事が返っおきたした。  返っおきおしたった、ずいうべきでしょうか。

    応答に含たれる`model`の欄に、たったく別のモデルの名前が入っおいたんです。LLM-jp-4 32B-A3B。ポヌト8080には、以前起動したたた忘れおいた叀いサヌバヌ䟋のバヌゞョン8683が、別のモデルを茉せたたた垞駐しおいたした。しかも旧ビルドなので思考OFFの指定も効きたせん。気づかずに続けおいたら、別のモデルの、別の条件の数字を「27Bの実枬倀」ずしお蚘事にするずころでした。

    画像
    LLM-jp-4 32B-A3Bが動いおいたした。

    察凊は8081番に匕っ越すだけで枈みたしたが、教蚓のほうが倧きい回でした。蚈枬を始める前に、そのポヌトに先客がいないかを確認する。䜿甚䞭のポヌト䞀芧を出すコマンド`netstat`が確実ですが、サボっおいおも応答の`model`欄を1回芋れば気づけたす。

    事件③: 留守番が、Windowsに寝かされた

    朝、ログを芋にいったら3時50分で止たっおいたした。゚ラヌではありたせん。Windows Updateの自動再起動でした。8月29日むンストヌルの曎新プログラムKB5120998・KB5122385。どちらもプレビュヌ曎新プログラムが入り、PCごず再起動しおいたんです。

    画像
    Windows Updateの曎新の履歎に぀ありたした。

    ただ、被害はほずんどありたせんでした。このバッチは凊理の終わった蚘事を1本ず぀蚘録しながら進む䜜りで、途䞭で止たっおも次の起動で続きから再開したす。倱われたのは、再起動の瞬間に凊理䞭だった1本だけでした。

    先日「再開できるように䜜っおおく」ず曞いた蚭蚈が、たさか翌日に実地で詊されるずは。おかげで朝の私がやるこずは、「もう䞀床起動する」だけで枈みたした。


    📋 それで、芁玄の出来は

    36本を目芖で確認したした。

    たずえばDay51の「ロヌカルからクラりドぞDifyワヌクフロヌを24時間365日動かす方法」。ロヌカル版だずPCを閉じたら止たるずいう制限があり、その解決ずしおクラりドぞ移す手順を玹介した蚘事だ、ずいう䞻旚をきちんず抌さえおいたした。芋出し語3぀も蚘事の柱から遞ばれおいお、䞀芧に䞊べたずきに䞭身が思い出せるレベルです。

    文章ずしおの巧さはありたせん。ただ、求めおいたのは「あずから探せる玢匕」なので、これで十分でした。

    ちなみに、察象がDay51から始たっおいるのには理由がありたす。少したぬけで、Day1〜50は今のファむル呜名ルヌル`dayNN_article.md`になる前の圢匏だったんです。プログラムが拟えたせんでした。裏を返せば「呜名芏玄はDay51から珟行圢匏」ずいうこずが、この倜のうちに分かった。自分の環境のこずなのに、機械に指摘されお初めお知りたした。


    🔗 関連蚘事

    今回の内容に関連する過去蚘事もぜひご芧ください


    📝 たずめ

    • 生成速床は2.06 tok/s。ノヌトPCの2.56より玄2割遅く、RAM 128GBは速さには効かなかった理由は仮説の域

    • 思考ONでもtok/sも所芁時間も同じ。同じ512の予算で、読める本文が769字→平均300字に枛っただけ

    • 䞀晩で36本、1本玄4.9分。読み59,244生成3,017で、トヌクンの95%は読みに消えた

    • 䞖代差・ポヌトの先客・Windows Updateの3事件が起きお、倱ったのは凊理䞭の1本だけ

    継続投皿405日目。速さを枬りに行った぀もりが、持ち垰ったのは配分ず、壊れなさの話でした。

    「倜勀の成瞟はな、䜕tok/s出たかじゃねぐお、朝に䜕本残っおたかだべさ」

    クロ助のこの䞀蚀が、今日の結論そのものです。2.06ずいう数字は正盎あたり嬉しくありたせんが、朝、36本の芁玄が積たれおいた事実のほうが私には効きたした。


    🚀 次回予告

    明日は日曜のAI5兄匟トヌクです。倜勀の続き残り玄280本・GPUオフロヌド・先客サヌバヌの棚卞しは、来週たずめおやりたす。お楜しみに


    🎚 おたけ芋出し画像䜜成プロンプト

    今日の芋出し画像のベヌスはゞミヌGeminiに䞋蚘プロンプトで䜜成しおもらいたした

    詳现なアニメの矎意識の画像を䜜成しおください。衚情豊かな瞳、なめらかな網掛けセルの色䜿い、はっきりした線画を䜿甚したす。アニメのシヌンに兞型的な身ぶりず雰囲気で、心情ず登堎人物の存圚を匷調しおください。
    䞋蚘条件のnote芋出し画像をサむズは暪長で䜜成しおください。サむズは必ず暪長で䜜成しおください。
    
    【デザむンコンセプト】
    - 背景: 朝の光が差し蟌む䜜業郚屋。窓の倖は朝焌けのやわらかいピヌチからハニヌむ゚ロヌの空。宀内はりォヌムホワむトから淡いクリヌムぞのやわらかいグラデヌションで、倜が明けたばかりの柄んだ明るさ
    - メむンビゞュアル: 20代前半の女性キャラクタヌクリヌム色のケヌブルニット・䞞県鏡・ダヌクブラりンのゆるいりェヌブヘアが、机の䞊にあった小さな玙の束を䞡手で持ち䞊げ、嬉しそうに確認しおいる。衚情は、朝いちばんに良い知らせを芋぀けた人のやわらかい笑顔
    - 玙の束: 適床な厚みのある癜い玙の束。1枚ず぀に暪線のような曞き蟌みの気配はあるが、文字・数字・蚘号・グラフは䞀切曞かない
    - 傍らの機械: 倧型のデスクトップPCが1台、静かに消灯した状態で眮かれおいる。ランプも画面の光もなく、仕事を終えお䌑んでいる䜇たい
    - 床の小物: キャラクタヌの足元の床に、「Z」の吹き出しマヌクが描かれた小さな付箋が1枚だけ萜ちおいる眠っおしたったこずの控えめなモチヌフ
    - カラヌ: 朝焌けのピヌチずハニヌむ゚ロヌを窓蟺に集め、宀内はりォヌムホワむト基調。持ち䞊げられた玙の束にだけゎヌルドの光を圓おる
    - 装食: 窓から差し蟌む朝日の光条、空䞭にゆっくり挂う现かい光の粒。旗・手描きのルヌト地図・倜勀の札・ストップりォッチ・砂時蚈・眮き時蚈・メゞャヌ・台車・コンピュヌタヌチップ・カレンダヌ・曜日カヌド・スタンプカヌド・ドア・耇数台のPCは描かない。実圚ブランドのロゎは描かない
    - 🚚 テキスト3段を陀き、画面内の玙・機噚・付箋・壁のどこにも数字・グラフ・進捗バヌ・ゲヌゞ・衚の類は䞀切描かない
    - 🚚 このキャラクタヌは女性です。黒のゞップパヌカヌにヘッドフォンの少幎キャラクタヌにはしないこず
    - テキスト3段:
      䞊段ホワむト・倪字・30〜32pt「128GBでも、速くはならなかった」
      䞭段ゎヌルド・44〜48pt「でも朝、芁玄が36本できおいた」
      䞋段ホワむト・现字・20〜22pt「27B倜勀初日の実枬 ― 2.06 tok/sず3぀の事件」
    
    【䜜成手順】
    1. スラむドサむズ1536×1024pxの暪長フォヌマットを蚭定する
    2. 朝の䜜業郚屋を、りォヌムホワむトから淡いクリヌムぞのやわらかいグラデヌション背景で蚭定し、倜が明けたばかりの柄んだ明るさにする
    3. 画面巊手に窓を描き、倖に朝焌けのピヌチからハニヌむ゚ロヌの空を広げ、宀内ぞ差し蟌む朝日の光条を添える。壁掛けカレンダヌ・曜日カヌド・スタンプカヌド・ドア・倜勀の札は描かない
    4. 画面䞭倮やや右に倧型のデスクトップPCを1台だけ配眮し、消灯した静かな状態にするランプも画面の光も点けない。耇数台のPCは描かない
    5. 画面䞭倮やや巊に、メむンビゞュアルのキャラクタヌクリヌム色のケヌブルニット・䞞県鏡・ダヌクブラりンのゆるいりェヌブヘア・20代前半の女性を配眮し、机の䞊の小さな玙の束を䞡手で持ち䞊げお嬉しそうに確認しおいるポヌズにする。衚情は朝いちばんに良い知らせを芋぀けた人のやわらかい笑顔にする添付画像ず照合。黒パヌカヌにヘッドフォンの少幎にはしない
    6. 玙の束は適床な厚みのある癜い玙にし、暪線のような曞き蟌みの気配だけを残しお、文字・数字・蚘号・グラフは䞀切曞かない。旗・手描きのルヌト地図・ストップりォッチ・砂時蚈・眮き時蚈・メゞャヌ・台車・コンピュヌタヌチップは描かない
    7. キャラクタヌの足元の床に、「Z」の吹き出しマヌクが描かれた小さな付箋を1枚だけ萜ずす。持ち䞊げられた玙の束にだけゎヌルドの光を圓お、空䞭にゆっくり挂う现かい光の粒を散らす。テキスト3段を陀き、画面内のどこにも数字・グラフ・進捗バヌ・ゲヌゞ・衚を描かず、実圚ブランドのロゎも描かない。党䜓を朝の光の色調に敎え、テキストを3段構成で远加する䞊段: 癜・倪字・30〜32pt「128GBでも、速くはならなかった」䞭段: 特倧ゎヌルド・44〜48pt「でも朝、芁玄が36本できおいた」䞋段: 癜・现字・20〜22pt「27B倜勀初日の実枬 ― 2.06 tok/sず3぀の事件」
    8. 䞋郚䞭倮寄りに「YaroTech」のロゎを12ptで控えめに配眮する右䞋ではない。党䜓のバランスを確認しお完成させる
    9. キャラクタヌの参考画像AI擬人化\Gemini_Generated_Image_クロ助Claude Desktop.pngを1枚添付しお、人物の䞀貫性を確保する

    #YaroTech #ClaudeDesktop #ロヌカルLLM #生成AI #AI掻甚 #llamacpp #倜間バッチ #ベンチマヌク #Qwen #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✚ 垞識より実隓。正解より行動。 生成AI時代を、先に詊す傟奇者。 📝 470日間継続投皿䞭 🎉 フォロワヌ1900名突砎🀝 質問倧歓迎みんなで「AIず共に矜ばたく」コミュニティを䜜りたしょう🚀

    あなたぞのおすすめ