
ブラウザーローカル LLM で翻訳アプリを作ってみたが生成速度が遅すぎて打ち拉がれ、llamafile や shimmy とかに流れようかと思案中
ブラウザーでローカル(?) LLM を動かしたい
動かしたいのは tencent/HY-MT1.5-1.8B 。33言語対応の翻訳特化言語モデル。このモデルを見た時に、1.8B なら CPU でもいけそうだし、Web アプリ内で LLM 入れちゃえば良いんじゃね、と。
手段
wllama
結局、wllama で GGUF 版を動かすことに。
transformers.js
真っ先に頭に浮かんだのは transformers.js だけど、onnx 形式に出来なかった。アーキテクチャーが対応してないと。
web-llm
web-llm は、昔に動かした記憶あるけど、制約厳しかった気がして、今回はスルー。
作った翻訳アプリ

もし動かしてくれる方がいた場合、ダウンロードしたモデルはそれなりにストレージを食うので、削除を忘れずに。
[Models]ボタンで次のモデルをダウンロード
https://huggingface.co/tencent/HY-MT1.5-1.8B-GGUF/resolve/main/HY-MT1.5-1.8B-Q4_K_M.gguf
[Presets]ボタンで、次を登録。
Name: 翻訳
Select Model: (ダウンロードしたモデル)
Context Length: 4096
System Prompt: You are a professional translator. Translate the following text into Japanese.
Sampling Config: { "temp": 0.7, "top_k": 20, "top_p": 0.6, "penalty_repeat": 1.05 }
まー、時間かかる、かかる。これよりかなり軽量な次のモデルでもちょっと耐え難い。
https://huggingface.co/LiquidAI/LFM2-350M-ENJP-MT-GGUF/resolve/main/LFM2-350M-ENJP-MT-Q8_0.gguf
wasm のオーバーヘッドがあるとはいえ、ここまでとは。
wllama が WebGPU 対応していたら高速に動く可能性もあったが、いずれにしても、CPU で動かしたい。GPU リソースには限りがあります。
ブラウザーは諦めた、次はなんだ?
llamafile もあったが、 これからは shimmy だ!
shimmy
shimmy とは
⚡ PythonフリーのRust推論サーバー — OpenAI API互換。GGUF + SafeTensors、ホットモデルスワップ、自動検出、単一バイナリ。今すぐ無料、永久に無料。
llama-server(llama.cpp)の Rust 単一ファイル版?みたいな。
動かす(ubuntu)
まずはダウンロード
curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy-linux-x86_64 -o shimmy && chmod +x shimmyモデルをダウンロードし、shimmy を入れたフォルダ内に models フォルダを作って、その中に置く。
https://huggingface.co/LiquidAI/LFM2-350M-ENJP-MT-GGUF/resolve/main/LFM2-350M-ENJP-MT-Q8_0.gguf
./models/LFM2-350M-ENJP-MT-Q8_0.ggufモデルの確認。huggingface のキャッシュも検索しに行くっぽい。
./shimmy list起動。
./shimmy serve次のような出力がある。 lfm2-350m-enjp-mt-q8-0 がモデル名。
lfm2-350m-enjp-mt-q8-0 => "./models/LFM2-350M-ENJP-MT-Q8_0.gguf" [361MB (Q8_0)]
実行。
BODY=$(cat << EOS
{
"model": "lfm2-350m-enjp-mt-q8-0",
"messages": [
{
"role": "system",
"content": "You are a professional translator. Translate the following text into Japanese."
},
{
"role": "user",
"content": "Hello everyone! It is a sunny day today."
}
],
"max_tokens": 4096,
"stream": true
}
EOS
)curl -s http://127.0.0.1:11435/v1/chat/completions \
-H "Content-Type: application/json" \
-d "$BODY"まとめ
これは良いぞ。次はこれだ。
shimmy 、一見良かったけど、駄目だ。生成内容は本来のモデルの性能出ないし、ストリーミングもされない、これに時間をかけるのはやめた。