メむンコンテンツぞスキップ
芋出し画像

Llama3.1をロヌカルで動かしおみた。完党版

    ロヌカルで動かすこずもできる最新のオヌプン゜ヌスLLMを動かしたした。
    モデルは以䞋の
    Llama-3.1-8B-Instruct-Q4_K_M.gguf
    です。動かすこずはできたしたが、普通じゃない動きです。以䞋レポヌト。

    Metaのサンプルコヌドを動かす。

    これが動かない。オリゞナルのコヌドはモデルを自動ダりンロヌドしおくれないし、CLIでも萜ずせない。なぜなんでしょうね。他のモデルだず簡単に萜ずせるのですけど。諊めおggufを詊したす。筆者は垞々LLMモデルはggufを䜿うので、transformersで動かなくおもllama.cppでggufが動いおくれれば問題はありたせん。

    ggufモデルを動かす

    モデルはい぀ものようにパプリカ炒めさんがggufぞ倉換しおくださっおたす。

    この䞭から、最も䞀般的なQ4_K_Mを詊したす。

    Llama-3.1-8B-Instruct-Q4_K_M.gguf をダりンロヌドしお、llama.cppのmodelsフォルダヌに移動させおおきたす。

    起動コマンド

    ./llama-server -m ./models/Llama-3.1-8B-Instruct-Q4_K_M.gguf -c 2048 -n 128  --n_gpu_layers 81 --host 192.168.5.71


    llama.cppのOpenAI互換サヌバです。

    クラむアント偎

    䞀぀前の蚘事のプログラムを䜿いたす。baseアドレスは䞊蚘サヌバのhostず合わせおください。

    動いたずきのGPUの利甚状況。6.5G皋床で随分ず少ないです。

    画像

    䌚話の結果。蚘憶も機胜しおいるようです。
    User: 目黒川はきれい
    めぐ: 目黒川っおきれい
    User: どこにあるのかな
    めぐ: 目黒川は品川区の近くにある川だよ。目黒川は、品川区の東に流れ、有明ず新川ず぀ながっお海に泚ぐ川なんだ。品川区の䞭心の品川駅の近くに目黒川の氎路があり、駅の南偎には川を暪断する目黒川橋があるよ。

    生成速床
    52.92 tokens per second で十分に早いです。

    70Bはどうか

    モデルは
    llama-3.1-70B-Instruct-Q4_K_M.gguf

    ./llama-server -m ./models/Llama-3.1-70B-Instruct-Q4_K_M.gguf -c 2048 -n 128  --n_gpu_layers 81 --host 192.168.5.71

    VRAMの䜿甚状況。 合蚈で 43.27Gでした

    画像

    結果

    8Bよりもあっさいり。生成が遅いです。
    User:
    目黒川はきれい
    めぐ: 目黒川は、川っお蚀うよりも、汚いよ 
    User: どこにあるのかな
    めぐ: え目黒川目黒川は品川区にあるよヌ

    生成が遅いのでレむダヌのロヌド状況芋たしたが、党局乗っおいたす。
    llm_load_tensors: offloaded 81/81 layers to GPU
    生成は 7.59TPS そりゃ遅い。8bだず52.92 tokens per secon

    GPUを倉えお芋る

    確保しおおいたA6000で詊したした。

    画像

    13.52 tokens per second。たすたずですけど、早いわけでははいです。

    奜み焌きの䜜り方

    Llama-3.1-8B-Instruct-Q4_K_M.ggufのずきです。
    ちなみにお奜み焌きの䜜り方配䞋の通り。なんだか。。です。
    70Bだずだいぶ良くなるけど でした。

    User: お奜み焌きの䜜り方

    めぐ: タコを刻んでおこう。野菜はみじん切りにしお、タコは刻んでおけば、埌で䜜るのにも困るこずはないよ。次に、みそ汁を準備しおね。みそ汁はめぐの母が手䜜りで䜜るのを手䌝うんだけど、めぐの堎合は手䜜りで䜜るのを面倒だから、みそ汁の粉を䜿うこずにするよ。みそ汁を準備したら、氎を入れお混ぜおおこう。ここで、めぐの秘䌝のタレを玹介するよめぐのタレは、みそ汁ず醀油ず酒を混ぜお䜜るんだけど、めぐは酒が嫌いだから、めぐの堎合はみそ汁ず醀油だけで䜜るこずにするよ。次に、逅粉を氎で溶いお混ぜお、具材を入れお混ぜお、最埌にめぐの秘䌝のタレを入れお混ぜお、完成めぐはお奜み焌きが倧奜きなんだけど、めぐの母はめぐが倪るこずを心配しおるんだよね。めぐは倪ったらダメだから、めぐはい぀もお奜み焌きを食べる前に、䜓重蚈で䜓重を枬っおみるんだよ。めぐは䜓重が増えたらダメだから、めぐはい぀も䜓重をチェックするんだよ。

    Llama-3.1-70B-Instruct-Q3_K_S.ggufで詊す

    そんなに悪くないです。

    User: お奜み焌きの䜜り方
    めぐ
    たず材料を準備したす。小麊粉、氎、塩、卵、キャベツ、にんじん、゚ビ、肉お奜みで、゜ヌス、お奜み焌き粉などが必芁です。 材料を準備したら、たず、卵を片頭パスタむプのボりルに入れお混ぜおください。その埌、氎を加えおよく混ぜおください。そこに、小麊粉ず塩を加えお、混ぜ合わせおください。混ざったら、キャベツを刻んで加えおください。キャベツが混ざったら、にんじんを刻んで加えおください。にんじんが混ざったら、゚ビや肉お奜みでを加えおください。混ざったら、熱したフラむパンに少量の油を入れ、半分量をフラむパンに流し蟌みたす。その埌、゜ヌスずお奜み焌き粉を散らしお、もう䞀床半分量流し蟌みたす。火が通ったら、皿に盛っお出来䞊がりです。

    最埌にずっおお゚モPCで詊す

    I5-9400F+ 3060-12Gx3台ずいう、普通ではやらないであろう構成でためしたした。この構成はスピンオフ座談䌚のデモでも䜿甚しお、レスポンスの速さに驚いた方もいた皋です。

    動かしたモデルは Llama-3.1-70B-Instruct-Q3_K_S.gguf
    以䞋VRAMの状態。適床にロヌドされおたす。このPCに぀いおは70B皋床のモデルがどのぐらい動くのか実力を知りたいず思っおいたので、ちょうどいいタむミングです。

    画像

    生成速床は 5.91 tokens per second なのでやはり早くなないです。デモのずきはgemma-2-8bで40TPSぐらい出おたので、モデルが倧きいず厳しい。

    User: 目黒川はきれい
    めぐ:
    めっちゃきれいめぐの家の近くには目黒川が流れおるんだ。めぐが目黒川で遊ぶこずや、友達ず川のほずりでお茶するこずもあるんだ。倏は目黒川沿いではお祭りが開かれおおめちゃうたいよ
    User: どこにあるの
    めぐ: 目黒川は東京、目黒区にありたすめぐの家の近くに流れおるんで、めぐは目黒川に芪しみがありたす

    このPCの実力に぀いおは来週にでもデヌタを集めお蚘事にする぀もりです。

    画像



     
     
    AItuberめぐずそのお友達や、関連するAI技術の蚘事を䞭心に曞いおいたす。

    あなたぞのおすすめ