メインコンテンツへスキップ
見出し画像

LM Studio、Ollama に次ぐ勢力になり得るか? llama.cpp の便利さを書き記す

    llama.cpp とは

    みんな大好き GGUF の生みの親?、LM Studio も Ollama も GGUF 実行には、llama.cpp を使っているとか、いないとか。
    あたらしいアーキテクチャを持つモデルが続々と生まれてくる中、GGUF としての対応は、やはり早い。
    新しいアーキテクチャのモデルをすぐに動かしたくて、 main ブランチにマージされる前のブランチ(PR)を辿って、フォークのリポジトリからインストールすることも多々ある。そんな llama.cpp (llama-server) がいつの間に、便利になっていた。
    llama.cpp は、大きく分けて、llama-server と llama-cli がある。
    今回は llama-server の話。

    便利になった llama.cpp

    面倒臭さを説明するのが面倒なので、深くを語らないが、その面倒くささ(自由度と CLI)が好きだった。いや、今も好き。
    相変わらずコマンド実行は必須なので、ターミナルという壁を考えると LM Studio に気軽さは叶わない。ただ、その壁は自由への試練。知らんけど。

    提供する Web UI が便利に

    サーバー起動(インストールは後述)

    ./llama-server

    http://127.0.0.1:8080、インストール済みのモデルが選べる。ドヤっ。
    うそ、そんくいらいできないと困る、と思う人が大多数だろう。しかし、llama-server の CLI としての便利さの上に Web UI の便利さが合わさり、鬼に金棒なのである。

    画像

    ロード中のモデルは緑に。カーソルを合わせて、クリックすればアンロードできる。

    画像

    目のアイコンを押せば、アプリをプレビューできる。ただし、この目は index.html にしか現れない模様。そして、index.html のみで完結している必要がある(他のファイルを読み込んではくれない)。おそらく。

    画像

    CLI こそ至高

    他にもあるが、代表的なものをピッカァップ!
    httpie コマンドと、jq コマンドが前提の例になっている。(両コマンドも必須ではない。便利なだけ。)
    curl さえあれば、何も要らないというあなたには全く必要ない。

    # モデル一覧
    http 127.0.0.1:8080/models
    
    # ロード中モデル
    http -b 127.0.0.1:8080/models | jq -r '.data[] | select(.status.value == "loaded") | .id'
    
    # 未ロードモデル
    http -b 127.0.0.1:8080/models | jq -r '.data[] | select(.status.value == "unloaded") | .id'
    
    # モデルのロード
    http -b 127.0.0.1:8080/models/load model="unsloth/gemma-3-4b-it-GGUF:Q4_K_M"
    
    # モデルのアンロード
    http -b 127.0.0.1:8080/models/unload model="unsloth/gemma-3-4b-it-GGUF:Q4_K_M"

    ごちゃごちゃ書いても、刺さらない人には刺さらないので、以上。

    llama.cpp のインストールと起動

    Nvidia GPU 積んでる場合

    git clone https://github.com/ggml-org/llama.cpp.git
    cd llama.cpp
    
    cmake -B build -DGGML_CUDA=ON
    cmake --build build --config Release
    
    cd ./build/bin
    
    # モデルインストールと起動
    ./llama-server -hf Menlo/Jan-nano-gguf:Q4_K_M

    最後に

    自身のためのメモです。
    もし、目を通してくれた方がいて、ちょっとでも気になったなら、是非試してもらいたい。刺さるか、刺さらないかは、あなた次第です。

    あなたへのおすすめ