メインコンテンツへスキップ
見出し画像

ブラウザーローカル LLM で翻訳アプリを作ってみたが生成速度が遅すぎて打ち拉がれ、llamafile や shimmy とかに流れようかと思案中

    ブラウザーでローカル(?) LLM を動かしたい

    動かしたいのは tencent/HY-MT1.5-1.8B 。33言語対応の翻訳特化言語モデル。このモデルを見た時に、1.8B なら CPU でもいけそうだし、Web アプリ内で LLM 入れちゃえば良いんじゃね、と。

    手段

    wllama

    結局、wllama で GGUF 版を動かすことに。

    transformers.js

    真っ先に頭に浮かんだのは transformers.js だけど、onnx 形式に出来なかった。アーキテクチャーが対応してないと。

    web-llm

    web-llm は、昔に動かした記憶あるけど、制約厳しかった気がして、今回はスルー。

    作った翻訳アプリ

    画像
    https://polyglocal.pages.dev

    もし動かしてくれる方がいた場合、ダウンロードしたモデルはそれなりにストレージを食うので、削除を忘れずに。

    [Models]ボタンで次のモデルをダウンロード

    • https://huggingface.co/tencent/HY-MT1.5-1.8B-GGUF/resolve/main/HY-MT1.5-1.8B-Q4_K_M.gguf

    [Presets]ボタンで、次を登録。

    • Name: 翻訳

    • Select Model: (ダウンロードしたモデル)

    • Context Length: 4096

    • System Prompt: You are a professional translator. Translate the following text into Japanese.

    • Sampling Config: { "temp": 0.7, "top_k": 20, "top_p": 0.6, "penalty_repeat": 1.05 }

    まー、時間かかる、かかる。これよりかなり軽量な次のモデルでもちょっと耐え難い。

    • https://huggingface.co/LiquidAI/LFM2-350M-ENJP-MT-GGUF/resolve/main/LFM2-350M-ENJP-MT-Q8_0.gguf

    wasm のオーバーヘッドがあるとはいえ、ここまでとは。
    wllama が WebGPU 対応していたら高速に動く可能性もあったが、いずれにしても、CPU で動かしたい。GPU リソースには限りがあります。

    ブラウザーは諦めた、次はなんだ?

    llamafile もあったが、 これからは shimmy だ!

    shimmy

    shimmy とは

    ⚡ PythonフリーのRust推論サーバー — OpenAI API互換。GGUF + SafeTensors、ホットモデルスワップ、自動検出、単一バイナリ。今すぐ無料、永久に無料。

    Michael-A-Kuykendall/shimmy

    llama-server(llama.cpp)の Rust 単一ファイル版?みたいな。

    動かす(ubuntu)

    まずはダウンロード

    curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy-linux-x86_64 -o shimmy && chmod +x shimmy

    モデルをダウンロードし、shimmy を入れたフォルダ内に models フォルダを作って、その中に置く。

    https://huggingface.co/LiquidAI/LFM2-350M-ENJP-MT-GGUF/resolve/main/LFM2-350M-ENJP-MT-Q8_0.gguf

    ./models/LFM2-350M-ENJP-MT-Q8_0.gguf

    モデルの確認。huggingface のキャッシュも検索しに行くっぽい。

    ./shimmy list

    起動。

    ./shimmy serve

    次のような出力がある。 lfm2-350m-enjp-mt-q8-0 がモデル名。

    lfm2-350m-enjp-mt-q8-0 => "./models/LFM2-350M-ENJP-MT-Q8_0.gguf" [361MB (Q8_0)]

    実行。

    BODY=$(cat << EOS
    {
      "model": "lfm2-350m-enjp-mt-q8-0",
      "messages": [
        {
          "role": "system",
          "content": "You are a professional translator. Translate the following text into Japanese."
        },
        {
          "role": "user",
          "content": "Hello everyone! It is a sunny day today."
        }
      ],
      "max_tokens": 4096,
      "stream": true
    }
    EOS
    )
    curl -s http://127.0.0.1:11435/v1/chat/completions \
      -H "Content-Type: application/json" \
      -d "$BODY"

    まとめ

    これは良いぞ。次はこれだ。

    shimmy 、一見良かったけど、駄目だ。生成内容は本来のモデルの性能出ないし、ストリーミングもされない、これに時間をかけるのはやめた。

    あなたへのおすすめ