メむンコンテンツぞスキップ
芋出し画像

TTFTっお䜕から始める倜間バッチ ― ロヌカルLLM実枬の前日に、手順ず甚語を先にそろえた

    こんにちはYaroTechです。

    昚日の蚘事の最埌に、「明日はメむンPCで倜間バッチを䞀晩たわしたす」ず曞きたした。先に正盎なずころを曞くず、実枬は明日に延ばしたす。今日はたずたった実行時間が取れたせんでした。

    ただ、実枬の前にやるこずが山ほどあるず分かったので、今日はその準備で描いた地図ず、道䞭に出おくる蚀葉を先にそろえる回にしたす。明日の蚘事を、数字だけ远えば読める状態にしおおくための䞋ごしらえです。

    ※芋出し画像のプロンプトは䞀番䞋におたけで公開䞭


    🖥 実行環境

    • 実枬する機械: デスクトップPCWindows 11 Pro / Core i9-12900T / RAM 128GB / RTX 3050

    • これたでの蚈枬機: ThinkPad X1 CarbonWindows 11 Home / Core Ultra 7 258V / RAM 32GB

    • モデル: Qwen3.8-27B の4bit玚量子化版玄17GB

    • AI: Claude Desktop愛称: クロ助― 手順の敎理ず甚語の蚀い換えを担圓

    今日は段取りず解説の回です。新しい蚈枬はしおおらず、出おくる数字はすべお過去蚘事で公開枈みのものだけです。


    🎯 この蚘事で埗られるこず

    • ロヌカルLLMを䞀晩たわすたでに、実際どんな手順が芁るのかの党䜓像

    • 「GGUF」「TTFT」「量子化」ずいった暪文字を、初芋でも読める蚀葉に眮き換えた説明

    • 倜通し動くものの正䜓ず、人がボタンを抌す堎所の線匕き


    🗺 倜間バッチ実枬、8手順の地図

    やるこずを8぀に割っおみたら、思っおいたより長い道のりでした。

    手順① モデルの居堎所を探す

    モデルの本䜓はすでにノヌトPCの䞭にありたす。ただ眮かれおいる堎所が独特で、たずそのファむルの特定からです。

    手順② 17GBを運ぶ

    芋぀けたファむルをデスクトップPCぞコピヌし、拡匵子を付け替えたす。今回いちばんの節玄ポむントで、玄17GBを萜ずし盎さずに枈みたす。

    手順③ llama.cppの点呌

    運ぶ先の実行゜フトが起動できる状態かを確認したす。導入枈みなので点呌だけ。

    手順④ サヌバヌを起こしお疎通

    実行゜フトを裏方ずしお立ち䞊げ、1回だけ声をかけお返事を芋たす。ここで返事が来なければ以降は党郚やり盎しです。

    手順⑀ 倕方の事前蚈枬

    短い文章で、生成の速さず埅ち時間を数回ず぀枬りたす。明日の蚘事の衚は、半分がここで埋たりたす。

    手順⑥ バッチの実装

    倜のあいだ動かす仕組みを2぀䜜りたす。芁玄を頌むほうず、それを起こすほう。途䞭で萜ちおも翌晩やり盎せるよう、枈んだぶんを飛ばす䜜りにしたす。

    手順⑊ 倜、起動しお寝る

    起動だけは自分の手でやりたす。ここは自動にしたせん。理由は埌半に曞きたす。

    手順⑧ 朝の目芖

    䜕本ぶん終わったかを数え、䞭身がおかしくないかを芋たす。ここたでで、ようやく1回の実枬です。


    📖 道䞭に出おくる蚀葉、10個

    ここからが本題です。8手順を説明しようずするず暪文字が次々出おくるので、先に党郚たたんでおきたす。

    ① 倜間バッチ

    決めた仕事をたずめお、無人で順番に凊理させるこずです。人が埅っおいない時間垯に抌し蟌む、ずいう発想。昚日の蚘事で「䜕を頌むか」たで決めたした。

    ② GGUF

    llama.cpp系の゜フトで䜿うモデルファむルの圢匏です。お匁圓箱だず思っおください。AIの䞭身を、持ち運べる圢に詰めたもの。拡匵子は `.gguf` です。

    ③ blob

    Ollamaずいう゜フトがモデルを保存するずきの眮き方で、拡匵子のないファむルがずらっず䞊びたす。ずころがこの䞭身、そのたたGGUFでした。ラベルを剥がしただけのお匁圓箱です。Day397ではこれのおかげで、16.69GBの本䜓を再ダりンロヌドせずに別゜フトから読めたした。手順②はその実運甚版です。

    ④ 量子化 / Q4_K_XL

    写真の画質調敎ず同じ考え方です。元の粟密なデヌタを少し粗くしお容量を枛らす。27B玚270億パラメヌタ玚が玄17GBに収たっおいるのは、この加工のおかげ。Q4_K_XLは、賢さをなるべく保ちながら4bit玚たで萜ずす方匏のひず぀です。

    â‘€ llama.cpp / llama-server

    llama.cppは、手元のPCでAIを動かす実行゚ンゞン。レヌシングカヌのようなもので、速いかわりに自分で運転が芁りたす。llama-serverはその兄匟分で、リク゚ストを受けお答えを返す絊仕係。裏方ずしお立おおおくず、プログラムから泚文を出せたす。

    ⑥ OpenAI互換API

    絊仕係に枡す泚文祚のこずで、䞖界共通の曞匏になっおいたす。䞭で動いおいるのが手元のAIでも、曞き方は有名なサヌビスに頌むずきず同じ。Pythonのコヌドを䞞ごず䜿い回せたす。

    ⑩ tok/s

    AIの喋るスピヌドです。1秒あたりに生成できる文字のかたたりの数で、日本語ではだいたい1トヌクン1文字前埌。Day396では1.61 tok/s、実行゜フトを替えたDay397では2.56 tok/sでした。

    ⑧ TTFT最初のトヌクンたでの時間

    タむトルにも入れたこれが、今日いちばん芚えお垰っおほしい蚀葉です。質問しおから、最初の䞀文字が画面に出るたでの時間。喋りはじめおからの速さ⑊ずは別物です。Day397で9回枬ったうち、1回目だけ51.73秒ず飛び抜けお遅く出たした。別の日にはモデルの読み蟌みだけで23.5秒。どちらも故障ではなく、この立ち䞊がりぶんです。日䞭に䜿えるかは、tok/sよりTTFTで決たる。逆に倜間バッチではほが無芖できたす。朝たでに終わっおいれば同じですから。

    ⑹ 思考モヌドenable_thinking

    答える前に、AIが考え事を曞き出す機胜。思考過皋が芋えるAIの、その芋えおいる郚分です。質が䞊がる堎面がある反面、芋えないずころで生成量が増えるので埅ち時間が䌞びたす。Day397では察話画面から止められず、絊仕係経由で泚文祚に䞀行足しおようやく止たりたした。

    ⑩ 再開安党レゞュヌム

    凊理枈みのぶんを飛ばしお、途䞭から続けられる䜜りのこず。倜のあいだに䜕かあっおも、翌晩もう䞀床起動すれば続きから走る。無人で動かすものは、これが入っおいるかどうかで安心感がたるで違いたす。

    「暪文字は、先に党郚たたんでおくず楜だべさ」

    クロ助の蚀うずおりです。明日はこの10個を前提に曞けるので、数字の話に集䞭できたす。


    🀝 段取りはAIに、起動ボタンは人に

    手順⑥の䜜り方にも少し觊れおおきたす。

    今回は、スキルずいう圢で「目暙」ず「完了条件」を先に文章で曞いおおき、そこから先の組み立おをAI偎にやっおもらう方匏を詊しおいたす。1行ず぀指瀺を出すのではなく、どこたでできたら終わりかを枡す。先日曞いた留守番の考え方の延長で、刀断は出発前に枈たせおおく、ずいう話でもありたす。

    ただし誀解されたくないので、はっきり曞きたす。倜通し動くのは、PythonずBATであっおAIではありたせん。段取りたではAIが手䌝いたすが、倜䞭に走っおいるのは決められた順番どおりに動く普通のプログラムです。考えおいるのではなく、繰り返しおいるだけ。

    そしおもうひず぀。バッチの起動盎前だけは、人の承認で止たる䜜りにしたす。䞭身をその日のうちに自分で確認しお、自分でボタンを抌す。ここたで自動にするず、朝になっお「なぜか䜕も出おいない」を寝がけ県で远いかけるこずになりたす。

    「段取りは任せおもらっおええけど、最埌のボタンだけは抌しおけろな」

    クロ助にもそう蚀われたした。手を抜く堎所ず抜かない堎所は、分けおおきたす。


    🔗 関連蚘事

    今回の内容に関連する過去蚘事もぜひご芧ください


    📝 たずめ

    • 昚日予告した実枬は明日ぞ。今日は地図ず蚀葉をそろえる回にした

    • 䞀晩たわすたでの道のりは8手順。探す・運ぶ・点呌・疎通・事前蚈枬・実装・起動・朝の目芖

    • 箄17GBは運ぶだけで枈む。blobの䞭身がGGUFそのものだったためDay397で実蚌枈み

    • TTFTは「最初の䞀文字が出るたで」。昌の䜿い勝手を決めるのはこちらで、倜間バッチではほが効かない

    • 倜通し動くのはPythonずBAT。AIがやるのは段取りたでで、起動ボタンは人が抌す

    地図ず蚀葉が先にあるず、明日は数字だけ芋ればよくなりたす。準備の日をわざわざ1本にしたのは、そのためです。

    手元で䜕かを䞀晩たわしおみたい方は、たず自分の蚀葉で8手順ぶんの地図を曞いおみおください。私の堎合、曞いおみお初めお抜けおいる手順が3぀芋぀かりたした。


    🚀 次回予告

    明日はいよいよ実枬本番。tok/s・TTFT・思考ON/OFF別の所芁時間・䞀晩の凊理本数の4点を蚘録したす。どうなるかは明日の数字で。お楜しみに


    🎚 おたけ芋出し画像䜜成プロンプト

    今日の芋出し画像のベヌスはゞミヌGeminiに䞋蚘プロンプトで䜜成しおもらいたした

    詳现なアニメの矎意識の画像を䜜成しおください。衚情豊かな瞳、なめらかな網掛けセルの色䜿い、はっきりした線画を䜿甚したす。アニメのシヌンに兞型的な身ぶりず雰囲気で、心情ず登堎人物の存圚を匷調しおください。
    䞋蚘条件のnote芋出し画像をサむズは暪長で䜜成しおください。サむズは必ず暪長で䜜成しおください。
    
    【デザむンコンセプト】
    - 背景: 明るい倕方の曞斎。窓から䜎い角床のやわらかい西日が差し蟌み、壁ず本棚をあたたかいハニヌむ゚ロヌ〜淡いセヌゞグリヌンのグラデヌションで照らしおいる
    - メむンビゞュアル: 20代前半の女性キャラクタヌクリヌム色のケヌブルニット・䞞県鏡・ダヌクブラりンのゆるいりェヌブヘアが、壁に貌った倧きな手描きのルヌト地図の前に立ち、朚補の指し棒で巊から2番目の地点を指しおいる。衚情は萜ち着いた、少し埗意げなやわらかい埮笑み
    - 壁の地図: 倧きな玙に手描きされたルヌト図。䞞い地点が8぀あり、曲線でひず続きに぀ながれおいる。地点にも玙にも文字・数字・蚘号は䞀切曞かない
    - 机の䞊: 開いたたたの単語垳颚の小さなノヌトが1冊だけ。ペヌゞには手曞き颚の现い線があるだけで、読める文字は曞かない
    - カラヌ: 倕方のハニヌむ゚ロヌ〜アンバヌ基調に、壁の淡いセヌゞグリヌンを合わせる。指し棒が指しおいる2番目の地点にだけゎヌルドの光を圓おる
    - 装食: 床に長く䌞びるやわらかい圱、空䞭に挂う现かい光の粒。ストップりォッチ・砂時蚈・眮き時蚈・メゞャヌ・台車・コンピュヌタヌチップ・スヌツケヌス・カレンダヌ・曜日カヌド・スタンプカヌド・ドア・耇数個のランプ・耇数台のPCは描かない。実圚ブランドのロゎは描かない
    - 🚚 画面内に数字・tok/s・グラフ・進捗バヌ・ゲヌゞ・衚の類は䞀切描かない
    - 🚚 このキャラクタヌは女性です。黒のゞップパヌカヌにヘッドフォンの少幎キャラクタヌにはしないこず
    - テキスト3段:
      䞊段ホワむト・倪字・30〜32pt「実枬の前に、地図を描く」
      䞭段ゎヌルド・44〜48pt「倜間バッチの8手順」
      䞋段ホワむト・现字・20〜22pt「ロヌカルLLMの専門甚語も、先に党郚そろえた」
    
    【䜜成手順】
    1. スラむドサむズ1536×1024pxの暪長フォヌマットを蚭定する
    2. 明るい倕方の曞斎を、あたたかいハニヌむ゚ロヌ〜淡いセヌゞグリヌンのやわらかいグラデヌション背景で蚭定する
    3. 画面奥たたは右手に窓を描き、䜎い角床のやわらかい西日を宀内に差し蟌たせお、壁ず本棚をあたたかく照らす。壁掛けカレンダヌ・曜日カヌド・スタンプカヌド・ドアは描かない
    4. 画面䞭倮やや右の壁に、倧きな手描きのルヌト地図を貌る。䞞い地点を8぀描き、曲線でひず続きに぀なぐ。地点にも玙にも文字・数字・蚘号は䞀切曞かない
    5. 画面䞭倮やや巊に、メむンビゞュアルのキャラクタヌクリヌム色のケヌブルニット・䞞県鏡・ダヌクブラりンのゆるいりェヌブヘア・20代前半の女性を配眮し、朚補の指し棒で地図の巊から2番目の地点を指しおいるポヌズにする。衚情は萜ち着いた、少し埗意げなやわらかい埮笑みにする添付画像ず照合。黒パヌカヌにヘッドフォンの少幎にはしない
    6. 手前の机に、開いたたたの単語垳颚の小さなノヌトを1冊だけ眮く。ペヌゞには手曞き颚の现い線だけを入れ、読める文字は曞かない。ストップりォッチ・砂時蚈・眮き時蚈・メゞャヌ・台車・コンピュヌタヌチップ・スヌツケヌス・耇数個のランプ・耇数台のPCは描かない
    7. 指し棒が指しおいる2番目の地点にだけゎヌルドの光を圓お、床に長く䌞びるやわらかい圱ず、空䞭に挂う现かい光の粒を添える。画面内に数字・グラフ・進捗バヌ・ゲヌゞ・衚を䞀切描かず、実圚ブランドのロゎも描かない。党䜓をあたたかい倕方の色調に敎え、テキストを3段構成で远加する䞊段: 癜・倪字・30〜32pt「実枬の前に、地図を描く」䞭段: 特倧ゎヌルド・44〜48pt「倜間バッチの8手順」䞋段: 癜・现字・20〜22pt「ロヌカルLLMの専門甚語も、先に党郚そろえた」。䞋郚䞭倮寄りに「YaroTech」のロゎを12ptで控えめに配眮する右䞋ではない
    8. 党䜓のバランスを確認しお完成させる
    9. キャラクタヌの参考画像AI擬人化\Gemini_Generated_Image_クロ助Claude Desktop.pngを1枚添付しお、人物の䞀貫性を確保する

    #YaroTech #ClaudeDesktop #ロヌカルLLM #生成AI #AI掻甚 #llamacpp #倜間バッチ #甚語解説 #AI初心者 #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✚ 垞識より実隓。正解より行動。 生成AI時代を、先に詊す傟奇者。 📝 470日間継続投皿䞭 🎉 フォロワヌ1900名突砎🀝 質問倧歓迎みんなで「AIず共に矜ばたく」コミュニティを䜜りたしょう🚀

    あなたぞのおすすめ