
LM Studio、Ollama に次ぐ勢力になり得るか? llama.cpp の便利さを書き記す
llama.cpp とは
みんな大好き GGUF の生みの親?、LM Studio も Ollama も GGUF 実行には、llama.cpp を使っているとか、いないとか。
あたらしいアーキテクチャを持つモデルが続々と生まれてくる中、GGUF としての対応は、やはり早い。
新しいアーキテクチャのモデルをすぐに動かしたくて、 main ブランチにマージされる前のブランチ(PR)を辿って、フォークのリポジトリからインストールすることも多々ある。そんな llama.cpp (llama-server) がいつの間に、便利になっていた。
llama.cpp は、大きく分けて、llama-server と llama-cli がある。
今回は llama-server の話。
便利になった llama.cpp
面倒臭さを説明するのが面倒なので、深くを語らないが、その面倒くささ(自由度と CLI)が好きだった。いや、今も好き。
相変わらずコマンド実行は必須なので、ターミナルという壁を考えると LM Studio に気軽さは叶わない。ただ、その壁は自由への試練。知らんけど。
提供する Web UI が便利に
サーバー起動(インストールは後述)
./llama-serverhttp://127.0.0.1:8080、インストール済みのモデルが選べる。ドヤっ。
うそ、そんくいらいできないと困る、と思う人が大多数だろう。しかし、llama-server の CLI としての便利さの上に Web UI の便利さが合わさり、鬼に金棒なのである。

ロード中のモデルは緑に。カーソルを合わせて、クリックすればアンロードできる。

目のアイコンを押せば、アプリをプレビューできる。ただし、この目は index.html にしか現れない模様。そして、index.html のみで完結している必要がある(他のファイルを読み込んではくれない)。おそらく。

CLI こそ至高
他にもあるが、代表的なものをピッカァップ!
httpie コマンドと、jq コマンドが前提の例になっている。(両コマンドも必須ではない。便利なだけ。)
curl さえあれば、何も要らないというあなたには全く必要ない。
# モデル一覧
http 127.0.0.1:8080/models
# ロード中モデル
http -b 127.0.0.1:8080/models | jq -r '.data[] | select(.status.value == "loaded") | .id'
# 未ロードモデル
http -b 127.0.0.1:8080/models | jq -r '.data[] | select(.status.value == "unloaded") | .id'
# モデルのロード
http -b 127.0.0.1:8080/models/load model="unsloth/gemma-3-4b-it-GGUF:Q4_K_M"
# モデルのアンロード
http -b 127.0.0.1:8080/models/unload model="unsloth/gemma-3-4b-it-GGUF:Q4_K_M"ごちゃごちゃ書いても、刺さらない人には刺さらないので、以上。
llama.cpp のインストールと起動
Nvidia GPU 積んでる場合
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
cd ./build/bin
# モデルインストールと起動
./llama-server -hf Menlo/Jan-nano-gguf:Q4_K_M最後に
自身のためのメモです。
もし、目を通してくれた方がいて、ちょっとでも気になったなら、是非試してもらいたい。刺さるか、刺さらないかは、あなた次第です。