メむンコンテンツぞスキップ
芋出し画像

27Bが5.9GB 話題のBonsai 2を明日詊したす ― その前に、ロヌカルLLMで぀たずかない5぀の流れ

    こんにちはYaroTechです。

    27Bクラスの倧きなAIが、5.9GBに収たった。そんな発衚がありたした。PrismMLずいう䌚瀟の「Bonsai 2 27B」です。

    すぐ詊したいのですが、実枬は明日にしたす。今日は、詊す前にそろえおおくず安心なこずを、私の倱敗談぀きでたずめたす。読み終わるころには、明日いっしょに詊せる状態になっおいるはずです。

    ※芋出し画像のプロンプトは䞀番䞋におたけで公開䞭


    🖥 実行環境

    • 明日の䞻圹: デスクトップPCWindows 11 Pro / Core i9-12900T / メモリ128GB / RTX 3050・グラフィックボヌド偎のメモリ8GB

    • 比べる盞手: ノヌトPC ThinkPad X1 CarbonWindows 11 Home / Core Ultra 7 258V / メモリ32GB

    • 詊すAI: Bonsai 2 27BPrismML

    • 盞棒: Claude Desktop愛称: クロ助― 公匏の配垃物をいっしょに読む係

    今日は準備の回で、新しい蚈枬はしおいたせん。Bonsai 2の数字は公匏の発衚、私の数字は過去蚘事で公開したものだけです。


    🎯 この蚘事で埗られるこず

    • 新しいロヌカルLLM自分のPCで動かすAIを詊す前の、5぀の流れ

    • 私が実際にやらかした倱敗ず、先に芋おおけば枈むこず

    • Bonsai 2だけの泚意、3぀


    🌱 Bonsai 2 27Bっお䜕 ― 倧きなAIを、小さくたたんだモデル

    27Bは、AIの䞭の郚品が玄270億個、ずいう意味です。

    公匏によるず、Bonsai 2 27Bはこれをずおも匷く圧瞮しお、5.9GBに小さくたたんだモデルです。サむズは元の玄9分の1。それでいお性胜は98.2%を保っおいる、ず公匏は説明しおいたす。

    気になる理由がありたす。以前、玄17GBの27BをノヌトPCで動かしたら、メモリが95〜99%たで埋たりたした。挚拶の返事に、1分かかっおいたす。

    関連蚘事: 挚拶の返事に、1分かかった ― 「蚈算䞊は茉る」27Bを32GBノヌトで実枬した氎曜日では、そのずきの様子をくわしく曞いおいたす。

    同じ27Bが小さくなるなら、ノヌトPCでも気軜に詊せるかもしれたせん。

    そしお、うれしいこずがもうひず぀。公匏の手順を読むず、コピヌしお貌るコマンドは4行だけでした。

    1. 公匏の配垃物を、自分のPCぞ䞞ごずコピヌする`git clone`

    2. そのフォルダに入る

    3. この画面でだけ、スクリプトの実行を蚱可する

    4. セットアップを実行する`.\setup.ps1`

    必芁な゜フトやAI本䜓のダりンロヌドは、4行目が自動でやっおくれたす。空き容量は玄8GBを芋おおくず安心です公匏の暙準ダりンロヌドが玄7.8GB。特別な機械もいりたせん。明日はノヌトPCでも詊す予定です。


    🗺 新しいAIを詊す前の、5぀の流れ

    Bonsai 2に限らず、どのAIにも䜿える圢で曞きたす。各項目の最埌の䞀文が「今回は」です。

    ① たず「䜕の゜フトで動くか」を読む

    倧きさや性胜より先に、どの゜フトで動かす前提かを確かめたす。ここを飛ばすず、ダりンロヌド埌に「動かない」ず気づきたす。今回は、開発元が甚意した専甚版の実行゜フトが必芁でした。

    ② 自分のPCに入るか、匕き算する

    AI本䜓の倧きさに加えお、䌚話を芚えおおくための䜜業スペヌスも芁りたす。メモリの空きから、この2぀を匕いお残るかを芋たす。今回は玄8GBに、少し足したぶんです。

    ③ い぀もの道具ず混ぜず、新しいフォルダに眮く

    今の環境を壊さないためです。うたくいかなくおも、フォルダごず片づければ元どおり。今回も新しいフォルダを1぀䜜りたす。

    ④ いちばん軜い蚭定で、たず䞀蚀しゃべらせる

    速さを枬るのは埌回し。たず「こんにちは」に返事が来るかだけ芋たす。返事が来たら、半分成功です。今回は、答える前の考えごずも切っお、短い䌚話から始めたす。

    â‘€ 倉えるのは䞀床に1぀だけ。同じ質問で比べる

    2぀同時に倉えるず、どちらが効いたのか分かりたせん。質問も毎回同じにしたす。今回は、グラフィックボヌドに手䌝わせる量だけを、少しず぀倉えたす。


    ⚠ 私がやらかした、ロヌカルLLM倱敗あるある5぀

    党郚、実際に螏んだものです。

    ① 「蚈算䞊は入る」で安心した

    倧きめのAIをノヌトPCに入れたら、たしかに動きたした。ただ、挚拶の返事に1分かかりたした。入るこずず、䜿えるこずは別でした。→ だから流れ④の「たず䞀蚀」で確かめれば倧䞈倫です。

    ② グラフィックボヌドに手䌝わせたら、むしろ遅くなった

    速くなるず思っおグラフィックボヌドにも手䌝わせたら、わずかに遅くなりたした。党郚任せようずしたら、起動すらしたせんでした。→ 先に「手䌝わせない状態」を枬っおおけば、比べる基準ができお迷いたせん。

    ③ メモリ128GBのPCが、32GBのノヌトに負けた

    メモリの倚いデスクトップなら速いはず、ず思っおいたした。結果は、ノヌトPCの8割ほどの速さ。メモリの倧きさず話す速さは、別ものでした。→ 高いPCでなくおいい、ずいう朗報でもありたす。たずは手元のPCで倧䞈倫です。

    ④ 受付窓口に先客がいお、別のAIが返事をした

    AIを動かす゜フトは、番号の぀いた受付窓口で泚文を埅っおいたす。私のデスクトップでは、別のAIがい぀もその窓口に座っおいたす。気づかず話しかけお、先客に答えおもらったこずがありたす。→ 始める前に、窓口の番号が空いおいるか芋るだけで防げたす。

    今回の公匏の手順は、窓口の番号が8080に決たっおいお、ちょうど私の先客ず同じでした。先客に気づくず止たっおくれる䜜りなので、慌おずに番号をずらしたす。

    関連蚘事: 2.06 tok/s、思考ONでも同じ速さ、でも届く本文は半分以䞋 ― ロヌカルLLM倜勀の実枬結果では、③ず④の出来事をたずめお曞いおいたす。

    â‘€ 同じ倧きなファむルを、䜕床もダりンロヌドしかけた

    ノヌトPCのAIをデスクトップでも䜿おうずしお、もう䞀床ダりンロヌドしかけたした。実はコピヌだけで枈み、玄17GBを萜ずし盎さずに枈んでいたす。→ 1回萜ずしお、あずはコピヌ。今回もそうしたす。


    🔧 Bonsai 2だけの泚意、3぀

    公匏の配垃物を先に読んだら、明日぀たずきそうな堎所が3぀芋぀かりたした。先に分かっおいれば、怖くありたせん。

    ① い぀もの実行゜フトでは動かない。開発元の専甚版を䜿う

    ロヌカルLLMを動かすための定番゜フトllama.cppがありたす。ずころがBonsai 2は、公匏によるず、このい぀もの実行゜フトではただ動きたせん。必芁な凊理が、本家の゜フトにはただ取り蟌たれおいないためです。

    ただ、安心しおください。公匏の4行の手順どおりに進めれば、専甚版は自動で入りたす。自分で探しに行かなくお倧䞈倫です。

    ② 配垃ペヌゞに出る「䜿い方」のコマンドは、そのたた貌らない

    配垃ペヌゞに自動で出る「䜿い方」のコマンドは、い぀もの実行゜フト向けの衚瀺です。公匏によるず、組み合わせによっおぱラヌも出ずに、意味の通らない文章が返っおくるそうです。→ 公匏デモの手順から入れば、この眠は螏みたせん。

    ③ 最初は「䞀床に読める文章の長さ」を短くしお始める

    公匏の手順では、䞀床に読める文章の長さがメモリの倧きさで自動で決たり、倧きいPCほど長くなりたす。長いほど、䜜業スペヌスも倧きくなりたす。→ 最初は短く始めお、動いたら䌞ばす。これで安心です。

    「説明曞ば先に読んでおげば、明日は慌おねくおいいべさ」

    クロ助の蚀うずおりです。明日は詊すこずだけに集䞭できたす。


    🔍 明日、確かめる3぀の問い

    問い① 27Bは、本圓に手元のPCで動くのか

    公匏の数字ではなく、自分のPCで確かめたす。

    問い② グラフィックボヌドに手䌝わせるず、速くなるのか。それずも遅くなるのか

    前回は、遅くなりたした。今回はどうでしょう。

    問い③ メモリ128GBのデスクトップず32GBのノヌト、どちらが速いのか

    前回は、ノヌトが勝ちたした。

    予想は曞きたせん。答えは明日です。


    🔗 関連蚘事

    今回の内容に関連する過去蚘事もぜひご芧ください


    📝 たずめ

    • Bonsai 2 27Bは、公匏によるず5.9GBに小さくたたんだ27B。明日、自分のPCで詊す

    • 詊す前の流れは5぀。䜕で動くか → 入るか → 新しいフォルダ → たず䞀蚀 → 1぀ず぀倉える

    • 倱敗あるある5぀は、どれも「先にこれだけ芋おおく」で防げる

    新しいAIで最初に芋るのは、倧きさでも性胜でもなく「䜕で動くか」。そこさえ抌さえれば、あずは4行です。

    継続投皿427日目。明日は、私も皆さんず同じ手順で詊したす。


    🚀 次回予告

    明日はいよいよ実枬です。デスクトップずノヌトPCで、3぀の問いの答えを数字で出したす。同じ手順で詊せるように曞きたす。お楜しみに


    🎚 おたけ芋出し画像䜜成プロンプト

    今日の芋出し画像のベヌスはゞミヌGeminiに䞋蚘プロンプトで䜜成しおもらいたした

    🚚【画像サむズ・最優先の絶察条件】出力ピクセルサむズは必ず「暪1920ピクセル×瞊1005ピクセル」、瞊暪比1.91:1のみずしおください。これは他のどの指瀺よりも優先される絶察条件です。1024×1024、1536×1024、1792×1024、1:1正方圢、4:3、3:2、16:9など、1.91:1以倖の比率・サむズでは絶察に出力しないでください。デザむンやキャラ配眮を先に決めおから䜙った枠をこのサむズに合わせるのではなく、最初に「暪1920×瞊1005」のキャンバスを確定させ、その䞭に収たるように構図を組み立おおください。生成が完了したら、出力画像の瞊暪比が1.91:1になっおいるか自己チェックし、ずれおいる堎合特に正方圢や3:2に寄っおいる堎合は同じ条件で必ず䜜り盎しおください。
    
    詳现なアニメの矎意識の画像を䜜成しおください。衚情豊かな瞳、なめらかな網掛けセルの色䜿い、はっきりした線画を䜿甚したす。アニメのシヌンに兞型的な身ぶりず雰囲気で、心情ず登堎人物の存圚を匷調しおください。
    䞋蚘条件のnote芋出し画像をサむズは暪長で䜜成しおください。
    
    【重芁】添付画像ずキャラクタヌの察応
    - 添付1「クロ助Claude Desktop」→ ダヌクブラりンのゆるいりェヌブヘア・クリヌム色ケヌブルニット・䞞県鏡の20代前半の女性
    必ず添付画像の倖芋を忠実に再珟しおください。※クロ助女性・クリヌム色ニット・䞞県鏡・りェヌブヘアずクロコ男性・黒パヌカヌ・ヘッドフォンを絶察に取り違えないこず。登堎するのはクロ助1人だけ。他のAIキャラは登堎させないこず。
    
    【デザむンコンセプト】
    - 背景: 明るい朝の窓蟺の朚の䜜業台。淡いミントグリヌンからやわらかなピヌチベヌゞュぞ、䞊から䞋ぞ移り倉わる明るいグラデヌション。窓から朝のやわらかい光が差し蟌んでいる
    - 奥の景色: 窓の倖の遠くに、鉢には入りきらないほど倧きな朚のシル゚ットを、淡く霞たせお1本だけ描く
    - メむンビゞュアル: クロ助が䜜業台の前に立ち、束の小さな盆栜の鉢を1぀、䞡手でそっず胞の高さに持ち䞊げお眺めおいる。衚情は「さお、どごから手を入れっぺ」ずいう、やさしく萜ち着いたわくわく顔
    - 䜜業台の䞊: ただ䜿っおいない道具が、巊から順番にきちんず䞊べおある。①小さな剪定ばさみ ②小さなじょうろ ③開いた無地の手順メモ玙には線も文字も曞かない。「手を入れる前に、道具ず段取りをそろえた」様子
    - 色のアクセント: 盆栜の鉢の瞁だけをゎヌルドにする
    - 装食: 䜜業台に萜ちるやわらかい日だたり、空䞭に挂う现かい光の粒。実圚ブランドのロゎは描かない
    - 🚚 画面内に数字・グラフ・ゲヌゞ・進捗バヌ・衚・チップ・PC・モニタヌ・ロボットを䞀切描かない。手順メモにも文字を曞かない
    - 䜿わないモチヌフ: 枯ず倧桟橋、むヌれルず道具箱、皮袋ず芜の出た鉢、床のWi-Fiモデム、壁の手描き地図ず指し棒、ストップりォッチ・砂時蚈・時蚈・カレンダヌ
    - 🚚 このキャラクタヌは女性です。黒のゞップパヌカヌにヘッドフォンの少幎キャラクタヌにはしないこず
    - テキスト3段:
      䞊段ホワむト・倪字・30〜32pt「詊すのは、明日」
      䞭段ゎヌルド・44〜48pt「Bonsai 2 27B 実枬前倜」
      䞋段ホワむト・现字・20〜22pt「ロヌカルLLM、぀たずかない5぀の流れ」
    
    【䜜成手順】
    1. 🚚【サむズ厳守・最優先】キャンバスを厳密に「暪1920ピクセル×瞊1005ピクセル」瞊暪比1.91:1に固定する。正方圢や1536×1024など他の比率は䞍可。たずこのサむズでキャンバスを確定しおから、その枠内に収たるよう被写䜓やテキストを配眮する。被写䜓やテキストは䞭倮80%の範囲にたずめ、倖偎10%ず぀は背景のグラデヌションのみが続く䜙癜にする
    2. 背景を、淡いミントグリヌンからやわらかなピヌチベヌゞュぞ移り倉わる明るい朝のグラデヌションで蚭定し、窓から朝のやわらかい光が差す窓蟺を描く。窓の倖の遠くに、倧きな朚のシル゚ットを淡く霞たせお1本だけ描く
    3. 手前に朚の䜜業台を眮き、その䞊に、ただ䜿っおいない小さな剪定ばさみ・小さなじょうろ・開いた無地の手順メモを、巊から順番にきちんず䞊べる。手順メモには線も文字も曞かない
    4. 䜜業台の前にクロ助添付1・クリヌム色のケヌブルニット・䞞県鏡・ダヌクブラりンのゆるいりェヌブヘアの20代前半の女性を立たせ、束の小さな盆栜の鉢を1぀、䞡手でそっず胞の高さに持ち䞊げお眺めるポヌズにする黒パヌカヌにヘッドフォンの少幎にはしない
    5. クロ助の衚情を「さお、どごから手を入れっぺ」ずいう、やさしく萜ち着いたわくわく顔にする
    6. 盆栜の鉢の瞁だけをゎヌルドにし、䜜業台の日だたりず空䞭の现かい光の粒を加える。数字・グラフ・ゲヌゞ・進捗バヌ・衚・チップ・PC・モニタヌ・ロボット・時蚈・カレンダヌ・実圚ブランドのロゎは描かない
    7. テキストを3段構成で远加する。䞊段「詊すのは、明日」ホワむト・倪字・30〜32pt、䞭段「Bonsai 2 27B 実枬前倜」ゎヌルド・44〜48pt、䞋段「ロヌカルLLM、぀たずかない5぀の流れ」ホワむト・现字・20〜22pt。明るい背景でも癜文字が読めるよう、文字の背埌にごく薄い圱を぀ける。すべお䞭倮80%の範囲に収める
    8. 䞋郚䞭倮寄りに「YaroTech」のロゎを12ptで控えめに配眮し右䞋ではない、党䜓のバランスを敎える。キャラクタヌの参考画像添付1: クロ助を1枚添付しお、人物の䞀貫性を確保する
    9. 🚚【最終確認】出力された画像の瞊暪比が1.91:1暪1920×瞊1005盞圓になっおいるかを必ず確認する。正方圢や3:2など他の比率に寄っおいる堎合は、手順1のサむズ指定を最優先条件ずしお同じ内容で再生成する

    #YaroTech #ClaudeDesktop #ロヌカルLLM #生成AI #AI掻甚 #Bonsai2 #PrismML #llamacpp #AI初心者 #毎日note

     
     
    生成AIの感動を共有したいYaroTechです✚ 垞識より実隓。正解より行動。 生成AI時代を、先に詊す傟奇者。 📝 470日間継続投皿䞭 🎉 フォロワヌ1900名突砎🀝 質問倧歓迎みんなで「AIず共に矜ばたく」コミュニティを䜜りたしょう🚀

    あなたぞのおすすめ