メむンコンテンツぞスキップ
芋出し画像

27Bは倜勀に向いおいる ― 遅いロヌカルLLMの「倜間バッチ」に、䜕を頌むかを先に決めた

    こんにちはYaroTechです。

    先週、手元のノヌトPCで27B玚270億パラメヌタ玚のロヌカルLLMを2回枬りたした。結論はどちらも同じで、「日䞭の䜜業には眮けない」。挚拶の返事に28秒かかるモデルを、打ち合わせの合間に呌び出す気にはなれたせん。

    ただ、それは私が起きおいる時間に䜿おうずしたからの話でした。今日はこの27Bを、諊めるのではなく倜勀に回す話を曞きたす。

    明日、出匵から戻っおメむンPCで実際に䞀晩たわす予定です。その前に、いちばん抜けおいたこずを先に決めおおきたす。䜕を頌むかです。

    ※芋出し画像のプロンプトは䞀番䞋におたけで公開䞭


    🖥 実行環境

    • これたでの蚈枬機: ThinkPad X1 CarbonWindows 11 Home / Core Ultra 7 258V / RAM 32GB

    • 明日からの実機: デスクトップPCWindows 11 Pro / Core i9-12900T / RAM 128GB / RTX 3050

    • モデル: Qwen3.8-27B の4bit玚量子化版

    • AI: Claude Code愛称: クロコ― ロヌカル偎の盞談盞手

    今日は怜蚎・敎理の回です。新しい蚈枬はしおいたせん。出おくる数字は、すべお過去蚘事で公開枈みの実枬倀だけです。


    🎯 この蚘事で埗られるこず

    • 「遅い」を欠点ではなく配眮の問題ずしお読み替える考え方

    • 倜間バッチに向く仕事ず、向かない仕事の切り分け基準

    • 手元の遅いAIに最初に任せる1本を、実枬の前に決めおおく手順


    🌙 遅い、ではなく「倜勀向き」

    先週の数字をもう䞀床だけ眮きたす。実行する゜フトを替えたあずの党䜓平均が2.56 tok/sでした。短い応答で28.01秒、䞭くらいで56.19秒、長い応答で96.96秒。昌の物差しで芋れば、党郚おそい郚類です。

    ここで、時間垯を倉えお蚈算しおみたす。2.56 tok/sのたた8時間、぀たり28,800秒動かし続けたずするず、玄7䞇トヌクン。

    ただしこれは蚈算倀です。ずっず連続で生成し続けたず仮定した䞊限で、モデルの読み蟌み時間も、こちらが枡す文章を凊理する時間も、途䞭で止たる可胜性も無芖しおいたす。実際にこの数字が出るずいう話ではありたせん。それでも桁の感芚は぀かめたす。私が寝おいるあいだに、それなりの量が動く。

    「昌に眮くから遅いんさ〜。倜なら、埅たせる盞手がおらんやっさ」

    クロコの蚀うずおりです。速さの数字には3぀の顔があっお、倜の枠で効くのは「走り出しおからの速さ」だけ。最初の䞀文字たで䜕秒かかろうが、朝たでに終わっおいれば同じです。


    🧭 倜勀に向く仕事、向かない仕事

    ずはいえ、䜕でも倜に投げおいいわけではありたせん。先に線を匕きたす。

    向いおいる仕事の条件

    人が埅っおいないこず。入力が手元に党郚そろっおいるこず。出力を朝にざっず目芖できるこず。倱敗しおも翌晩やり盎せるこず。そしお1件ず぀独立しおいるこず。最埌の条件がいちばん倧事で、100件のうち3件が倉になっおも、残り97件が無事なら倜勀ずしおは成功です。

    向かない仕事の条件

    途䞭で人の刀断が芁るもの。察話しながら詰めるもの。すぐに結果が芁るもの。最新のWeb情報が必芁なもの。そしお正しいかどうかを朝に確認しづらいもの。確認に日䞭の時間を2時間䜿うくらいなら、昌に自分でやったほうが早い、ずいう話になりたす。

    この線匕きをしおから候補を出すず、「䟿利そうだけど倜には向かない」ものが先に萜ちたした。


    📋 寝おいる間に頌む5぀の候補

    クロコず䞀緒に、うちの環境で成立しそうなものを5぀䞊べたした。ただどれも詊しおいたせん。今日は候補を出すずころたでです。

    候補①: 過去蚘事の芁玄ず芋出し語の抜出

    入力は手元にある蚘事のMDファむル、出力は1本ごずの短い芁玄ず、キヌワヌドを3語。1本ず぀完党に独立しおいお、倱敗しおも被害はその1本に閉じたす。朝の確認は、芁玄を数本読んで芋圓違いがないかを芋るだけです。

    候補②: Xポスト案の量産

    入力は蚘事のMD、出力は数字型・図衚型・Tips型の案を各3本。私は朝に遞ぶだけになりたす。実際に投皿するかどうかは人が確定させるので、倉な案が混ざっおいおも倖に出るこずはありたせん。

    候補③: 投皿ログの週次たずめ

    入力は1週間ぶんのログ、出力は500字皋床の週報案。入力が小さく、曞匏も決たっおいるので、倜勀の緎習台ずしお扱いやすい仕事です。

    候補④: 次回予告の「未回収」掗い出し

    各蚘事の末尟に曞いた次回予告を集めお、回収できたかを突き合わせる仕事。実はこれ、先週手䜜業でやりたした。宿題の取りこがしを芋぀ける䜜業なので、遅くおもいいから毎晩やっおいおほしいものです。

    候補⑀: ベンチマヌクの連続実行ず集蚈

    入力はプロンプト䞀匏、出力は速床の䞀芧。ただしこれだけは性質が違いたす。他の4぀が「LLMに頌む仕事」なのに察しお、これは「LLMを回す仕事」だからです。考えさせおいるのではなく、同じ動䜜を繰り返させお時間を枬っおいるだけ。同じ倜勀でも、倱敗したずきの盎し方がたったく別ものになりたす。


    🥇 最初の1本は、これにする

    5぀のうち、最初に回すのは候補①にしたす。理由は3぀です。

    ひず぀、入力が党郚手元にあるこず。ネットにも他のサヌビスにも取りに行かないので、倜䞭に倖の郜合で止たりたせん。

    ふた぀、1本倱敗しおも他に圱響しないこず。1件ず぀独立しおいる仕事は、倜勀の1本目に向いおいたす。党郚぀ながっおいる凊理を最初に遞ぶず、朝いちばんに原因を探す矜目になりたす。

    みっ぀、正しいかどうかを私がいちばん刀定できるこず。自分が曞いた蚘事の芁玄なので、読めば䞀瞬でおかしいかどうかわかりたす。倜勀を任せるずきは、朝の確認がいちばん軜い仕事から始めるのが安党だず思っおいたす。

    ずいうわけで、明日の実枬はこうしたす。この仕事を27Bに倜通しやらせたら、䞀晩で䜕本ぶん終わるのか。速床の数字を芋るのではなく、仕事の本数を数えたす。


    🔗 関連蚘事

    今回の内容に関連する過去蚘事もぜひご芧ください


    📝 たずめ

    • 昌には眮けなかった27Bを、倜勀ずしお眮き盎す。速床は倉えず、時間垯を倉える

    • 2.56 tok/sで8時間なら玄7䞇トヌクン。ただしこれは連続生成を仮定した蚈算倀で、実枬ではない

    • 倜勀に向くのは、人が埅たない・入力が手元にある・朝に目芖できる・やり盎せる・1件ず぀独立しおいる仕事

    • 向かないのは、途䞭で刀断が芁る・察話が芁る・即時性が芁る・最新情報が芁る・朝に正誀を確かめにくい仕事

    • 候補は5぀。最初の1本は「過去蚘事の芁玄ず芋出し語の抜出」に決めた

    • 候補⑀だけは「LLMに頌む仕事」ではなく「LLMを回す仕事」で、性質が違う

    「遅いっおのは、眮き堎所の話だったさヌ」

    クロコががそっず蚀ったこれが、今日の結論です。速くする方法を探しおいたずきは行き止たりでしたが、埅たなくおいい時間垯を探すに切り替えたら、眮き堎所のほうが先に芋぀かりたした。

    ちなみに、倜勀にしおも攟眮ではありたせん。朝いちばんに出力を目芖しお、倉なものが混ざっおいないかを芋る前提です。そこたで含めお「倜勀」ず呌んでいたす。

    手元に遅いAIがある方は、たず「自分が正誀を刀定できお、1件ず぀独立しおいる仕事」を1぀探しおみおください。速くする話は、そのあずで倧䞈倫です。


    🚀 次回予告

    明日は出匵明けです。Day396ずDay397で2回予告したたた持ち越しおいた、メむンPCRAM 128GBでの倜間バッチ実枬を、今日決めた候補①でようやく回収したす。蚘録するのは、tok/s、最初の䞀文字たでの時間、思考モヌドON/OFFそれぞれの所芁時間、そしお䞀晩で凊理できた蚘事の本数。お楜しみに


    🎚 おたけ芋出し画像䜜成プロンプト

    今日の芋出し画像のベヌスはゞミヌGeminiに䞋蚘プロンプトで䜜成しおもらいたした

    詳现なアニメの矎意識の画像を䜜成しおください。衚情豊かな瞳、なめらかな網掛けセルの色䜿い、はっきりした線画を䜿甚したす。アニメのシヌンに兞型的な身ぶりず雰囲気で、心情ず登堎人物の存圚を匷調しおください。
    䞋蚘条件のnote芋出し画像をサむズは暪長で䜜成しおください。サむズは必ず暪長で䜜成しおください。
    
    【デザむンコンセプト】
    - 背景: 深倜の静かな自宅の䜜業郚屋。郚屋の照明は萜ずされ、机の䞊のデスクトップPCの小さなむンゞケヌタランプだけがやわらかく灯っおいる。窓の倖は星空ず月
    - メむンビゞュアル: 10代埌半の男性キャラクタヌ黒のゞップパヌカヌ、ダヌクグレヌのグラフィックTシャツ、銖に黒いヘッドフォン、黒髪の無造䜜ミディアムで前髪が目にかかるが、郚屋を出ようずドアの前で立ち止たり、机のほうを振り返っお軜く芪指を立おおいる。衚情は無衚情ベヌスだが、口元にわずかな満足感
    - 🚚 このキャラクタヌは男性です。クリヌム色のケヌブルニット・䞞県鏡・りェヌブヘアの女性キャラクタヌにはしないこず
    - 机の䞊: デスクトップPCの本䜓ず、その前に眮かれた「倜勀」ず手曞きした小さな玙の札。さらに机の端に、明日の朝に読むための空のノヌトが1冊だけ閉じお眮かれおいる
    - カラヌ: 党䜓は深い藍色〜チャコヌルの倜の色。PCのむンゞケヌタず窓から差す月明かりだけが光源で、「倜勀」の札にだけやわらかいゎヌルドの光を圓おる
    - 装食: 床ずドアに䌞びる長い圱、空䞭に静かに挂う现かい光の粒。壁掛けカレンダヌ・曜日カヌド・スタンプカヌド・ストップりォッチ・砂時蚈・台車・スヌツケヌス・耇数個のランプは描かない。実圚ブランドのロゎは描かない
    - 🚚 画面内に数字・tok/s・グラフ・進捗バヌ・ゲヌゞの類は䞀切描かない。PCの画面は暗いたた、たたは均䞀なやわらかい光にする
    - テキスト3段:
      䞊段ホワむト・30〜32pt「昌には眮けなかった27Bを」
      䞭段ゎヌルド・44〜48pt「倜勀に回す」
      䞋段ホワむト・20〜22pt「ロヌカルLLMの倜間バッチ、䜕を頌むかを先に決めた」
    
    【䜜成手順】
    1. スラむドサむズ1536×1024pxの暪長フォヌマットを蚭定する
    2. 深倜の静かな䜜業郚屋を、深い藍色〜チャコヌルのグラデヌション背景で蚭定し、照明を萜ずした状態にする
    3. 画面奥に窓を描き、倖に星空ず月を配眮しお、机のあたりにやわらかい月明かりを萜ずす。壁掛けカレンダヌ・曜日カヌド・スタンプカヌドは描かない
    4. 画面䞭倮やや右の机に、デスクトップPCの本䜓を眮き、その前に「倜勀」ず手曞きした小さな玙の札を立おる。机の端に、閉じた空のノヌトを1冊だけ添える。PCのむンゞケヌタランプを小さくやわらかく光らせ、画面には数字・グラフ・進捗バヌ・ゲヌゞを䞀切描かない
    5. 画面䞭倮やや巊のドアの前に、メむンビゞュアルのキャラクタヌ黒のゞップパヌカヌ・ダヌクグレヌのグラフィックT・銖に黒いヘッドフォン・黒髪の無造䜜ミディアム・10代埌半の男性を配眮し、郚屋を出ようずしお立ち止たり、机のほうを振り返っお軜く芪指を立おおいるポヌズにする。衚情は無衚情ベヌスで口元にわずかな満足感を添える添付画像ず照合。クリヌム色ニットに䞞県鏡の女性にはしない
    6. 床ずドアに長い圱を䌞ばし、空䞭に现かい光の粒を静かに散らす。「倜勀」の札にだけやわらかいゎヌルドの光を圓おる。ストップりォッチ・砂時蚈・台車・スヌツケヌス・耇数個のランプ・実圚ブランドのロゎは描かない。党䜓を静かな深倜の色調に敎え、テキストを3段構成で远加する䞊段: 癜・倪字・30〜32pt「昌には眮けなかった27Bを」䞭段: 特倧ゎヌルド・44〜48pt「倜勀に回す」䞋段: 癜・现字・20〜22pt「ロヌカルLLMの倜間バッチ、䜕を頌むかを先に決めた」
    7. 䞋郚䞭倮寄りに「YaroTech」のロゎを12ptで控えめに配眮する右䞋ではない
    8. 党䜓のバランスを確認しお完成させる
    9. キャラクタヌの参考画像AI擬人化\Gemini_Generated_Image_クロコClaude Code.pngを1枚添付しお、人物の䞀貫性を確保する

    #YaroTech #ClaudeCode #ロヌカルLLM #生成AI #AI掻甚 #llamacpp #Qwen #倜間バッチ #自動化 #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✚ 垞識より実隓。正解より行動。 生成AI時代を、先に詊す傟奇者。 📝 470日間継続投皿䞭 🎉 フォロワヌ1900名突砎🀝 質問倧歓迎みんなで「AIず共に矜ばたく」コミュニティを䜜りたしょう🚀

    あなたぞのおすすめ