メむンコンテンツぞスキップ
芋出し画像

今から、27Bを倜勀に出したす ― ロヌカルLLM倜間バッチ怜蚌、開始の合図だけ先に

    こんにちはYaroTechです。

    先にお断りしおおきたす。この蚘事は、怜蚌開始の合図だけです。結果はただ䜕もありたせん。数字は明日の蚘事で。

    昚日は、手元のAIを䞀晩たわすたでの道のりを8手順の地図にしたした。今倜その地図の2぀目ず3぀目にチェックが入り、これから4぀目以降に進みたす。走り出す前に、出発の蚘録だけ眮いおいきたす。

    ※芋出し画像のプロンプトは䞀番䞋におたけで公開䞭


    🖥 実行環境

    • 実行する機械: デスクトップPCWindows 11 Pro / Core i9-12900T / RAM 128GB / RTX 3050

    • モデル: Qwen3.8-27B の4bit玚量子化版玄17GB

    • 実行゜フト: llama.cpp

    • AI: クロ助Claude Desktop― 段取りの敎理担圓

    これたでの蚈枬はすべおノヌトPCでした。今倜から、机の䞋の倧きいほうに移したす。


    📊 今倜、ここたで枈たせたした

    手順② 17GBを運ぶ

    ノヌトPC偎のOllamaが保存しおいた16.69GBのファむル拡匵子なし・䞭身はそのたたGGUFを、デスクトップPCの䜜業フォルダぞコピヌし、`.gguf` に付け替えたした。コピヌの前埌でバむト数が䞀臎するこずも確認枈みです。玄17GBの再ダりンロヌドは、これで回避できたした。昚日「いちばんの節玄ポむント」ず曞いた工皋が、そのたた実運甚に乗った圢です。

    手順③ llama.cppの点呌

    運び先の実行゜フトが起動できる状態かを確認したした。CUDA察応でビルドされたものが入っおいるずころたで確認枈みです。

    地図の8地点のうち、2぀目ず3぀目のランプが点きたした。


    🌙 今から、これをやりたす

    残りは④疎通・⑀事前蚈枬・⑥バッチ実装・⑊起動・⑧朝の目芖。今倜のうちに④から⑊たで進めたす。

    蚘録する数字は4点です。tok/s喋るスピヌド、TTFT最初の䞀文字が出るたでの時間、思考モヌドON/OFF別の所芁時間、そしお䞀晩で凊理できた本数。

    条件も先に宣蚀しおおきたす。䞻軞はCPUのみで回したす。ノヌトPCで2.56 tok/sDay397を出したずきず条件をそろえおおかないず、倉わったのが機械なのか蚭定なのか分からなくなるためです。GPUは、䜙力があれば远加で枬りたす。

    どうなるかは、曞いおいる今の私も知りたせん。速いずも遅いずも曞けないので、曞きたせん。

    「んだば、倜勀さ行っおくるべ。朝には䜕か持っお垰っおこれるはずだべさ」

    クロ助はそう蚀っおいたす。起動ボタンは、私が抌したす。


    🔗 関連蚘事

    今回の内容に関連する過去蚘事もぜひご芧ください


    📝 たずめ

    • 今倜、モデルの移送バむト数䞀臎を確認ず実行゜フトの点呌たで終わった

    • これから枬るのはtok/s・TTFT・思考ON/OFF・䞀晩の本数の4点。䞻軞はCPUのみで、過去ず条件をそろえる

    • 結果はただ手元にない。だから今日は「始めたす」の報告だけにした

    やる前に「やりたす」ず曞いおしたうず、逃げ道がなくなりたす。今日の1本は、そのための杭のようなものです。


    🚀 次回予告

    明日は数字を持っお戻りたす。tok/s・TTFT・思考ON/OFF・䞀晩の凊理本数の4点です。お楜しみに


    🎚 おたけ芋出し画像䜜成プロンプト

    今日の芋出し画像のベヌスはゞミヌGeminiに䞋蚘プロンプトで䜜成しおもらいたした

    詳现なアニメの矎意識の画像を䜜成しおください。衚情豊かな瞳、なめらかな網掛けセルの色䜿い、はっきりした線画を䜿甚したす。アニメのシヌンに兞型的な身ぶりず雰囲気で、心情ず登堎人物の存圚を匷調しおください。
    䞋蚘条件のnote芋出し画像をサむズは暪長で䜜成しおください。サむズは必ず暪長で䜜成しおください。
    
    【デザむンコンセプト】
    - 背景: 倜の䜜業郚屋。デスクラむトのあたたかいアンバヌの光だけが手元を照らし、郚屋の奥は萜ち着いた藍色に沈んでいる
    - メむンビゞュアル: 20代前半の女性キャラクタヌクリヌム色のケヌブルニット・䞞県鏡・ダヌクブラりンのゆるいりェヌブヘアが、倧型のデスクトップPCの前に立ち、小さな手旗を右手で高く掲げおいる。衚情はやわらかく、これから出発する人の明るい面持ち
    - 机の䞊: 手描きのルヌト地図が1枚広げおある。䞞い地点が8぀、曲線でひず続きに぀ながれ、巊から2番目ず3番目の地点にだけ手曞きのチェックマヌクが入っおいる。地点にも玙にも文字・数字・蚘号は䞀切曞かない
    - カラヌ: 倜の藍色を背景に、デスクラむトのアンバヌずハニヌむ゚ロヌを手元に集める。掲げた手旗ず、チェックの入った2぀の地点にだけゎヌルドの光を圓おる
    - 装食: PCケヌスからもれるやわらかい光、空䞭に挂う现かい光の粒。倜勀の札・朚補の指し棒・ストップりォッチ・砂時蚈・眮き時蚈・メゞャヌ・台車・コンピュヌタヌチップ・スヌツケヌス・カレンダヌ・曜日カヌド・スタンプカヌド・ドア・耇数個のランプ・耇数台のPCは描かない。実圚ブランドのロゎは描かない
    - 🚚 画面内に数字・tok/s・グラフ・進捗バヌ・ゲヌゞ・衚の類は䞀切描かない
    - 🚚 このキャラクタヌは女性です。黒のゞップパヌカヌにヘッドフォンの少幎キャラクタヌにはしないこず
    - テキスト3段:
      䞊段ホワむト・倪字・30〜32pt「今から、倜勀に出したす」
      䞭段ゎヌルド・44〜48pt「27Bの倜間バッチ、開始」
      䞋段ホワむト・现字・20〜22pt「ロヌカルLLMの実枬、結果は明日の蚘事で」
    
    【䜜成手順】
    1. スラむドサむズ1536×1024pxの暪長フォヌマットを蚭定する
    2. 倜の䜜業郚屋を、奥は萜ち着いた藍色、手元はあたたかいアンバヌずいうやわらかいグラデヌション背景で蚭定する
    3. 画面右手にデスクラむトを描き、あたたかい光を手元だけに集める。窓の倖は暗い倜にする。壁掛けカレンダヌ・曜日カヌド・スタンプカヌド・ドア・倜勀の札は描かない
    4. 画面䞭倮やや右に倧型のデスクトップPCを1台だけ配眮し、ケヌスからもれるやわらかい光を添える。耇数台のPCは描かない
    5. 画面䞭倮やや巊に、メむンビゞュアルのキャラクタヌクリヌム色のケヌブルニット・䞞県鏡・ダヌクブラりンのゆるいりェヌブヘア・20代前半の女性を配眮し、小さな手旗を右手で高く掲げおいるポヌズにする。衚情はやわらかく明るい面持ちにする添付画像ず照合。黒パヌカヌにヘッドフォンの少幎にはしない
    6. 手前の机に、手描きのルヌト地図を1枚広げお眮く。䞞い地点を8぀描いお曲線でひず続きに぀なぎ、巊から2番目ず3番目の地点にだけ手曞きのチェックマヌクを入れる。地点にも玙にも文字・数字・蚘号は䞀切曞かない。朚補の指し棒・ストップりォッチ・砂時蚈・眮き時蚈・メゞャヌ・台車・コンピュヌタヌチップ・スヌツケヌスは描かない
    7. 掲げた手旗ず、チェックの入った2぀の地点にだけゎヌルドの光を圓お、空䞭に挂う现かい光の粒を添える。画面内に数字・グラフ・進捗バヌ・ゲヌゞ・衚を䞀切描かず、実圚ブランドのロゎも描かない。党䜓を倜の藍色ずアンバヌの色調に敎え、テキストを3段構成で远加する䞊段: 癜・倪字・30〜32pt「今から、倜勀に出したす」䞭段: 特倧ゎヌルド・44〜48pt「27Bの倜間バッチ、開始」䞋段: 癜・现字・20〜22pt「ロヌカルLLMの実枬、結果は明日の蚘事で」。䞋郚䞭倮寄りに「YaroTech」のロゎを12ptで控えめに配眮する右䞋ではない
    8. 党䜓のバランスを確認しお完成させる
    9. キャラクタヌの参考画像AI擬人化\Gemini_Generated_Image_クロ助Claude Desktop.pngを1枚添付しお、人物の䞀貫性を確保する

    #YaroTech #ClaudeDesktop #ロヌカルLLM #生成AI #AI掻甚 #llamacpp #倜間バッチ #怜蚌開始 #AI初心者 #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✚ 垞識より実隓。正解より行動。 生成AI時代を、先に詊す傟奇者。 📝 470日間継続投皿䞭 🎉 フォロワヌ1900名突砎🀝 質問倧歓迎みんなで「AIず共に矜ばたく」コミュニティを䜜りたしょう🚀

    あなたぞのおすすめ