メインコンテンツへスキップ
見出し画像

Gemma-4-12B で Jev る - llama.cpp の GBNF を知った

    まとめ

    ローカル LLM で Jev っぽいこと出来る?って聞いたら、Claude が GBNF(GGML Backus-Naur Form) を教えてくれた。

    JSON Schema の構造化出力とは別に、GBNF というルールで厳格に出力を制限できる機能があった。新しい機能ではなく、3 年くらい前にはあったっぽい。

    ローカル LLM 達にぷよぷよ風ゲームをやってもらった。

    試した LLM の中では、Gemma-4-12B が良く、より好きになった。Qwen3.8-27B は駄目だった。

    GBNF

    `llama serve` でサーバー起動。 `llama-server` から変えてみる。モデルは何でもよい(結果はことなるだろうけど)。

    CUDA_VISIBLE_DEVICES=0 \
    llama serve -hf unsloth/gemma-4-12B-it-qat-GGUF:UD-Q4_K_XL \
      -c 16384 -fa on -np 1 --fit off -ngl 99 \
      --jinja --reasoning off \
      --alias "gbnf-decision"

    顧客のレビュー内容を 5 段階評価にしてもらう。

    BODY=`cat << 'EOS'
    {
      "messages": [
        {
          "role": "system",
          "content": "顧客のレビューを 1 (非常に悪い)から 5 (非常に良い)の範囲で評価してください。 1 桁の数字で回答してください。"
        },
        {
          "role": "user",
          "content": "料理は最高だが、接客がひどい。"
        }
      ],
      "grammar": "root ::= [1-5]",
      "max_tokens": 1
    }
    EOS`
    
    curl -s http://127.0.0.1:8080/v1/chat/completions \
      -H 'Content-Type: application/json' \
      -d "$BODY" | jq

    レスポンスはこんな感じ。 "3" との評価。
    生成にかかった時間(PP + TG)は、37 ミリ秒程度。早い。

    {
      "choices": [
        {
          "finish_reason": "length",
          "index": 0,
          "message": {
            "role": "assistant",
            "content": "3"
          }
        }
      ],
      "created": 1790398500,
      "model": "gbnf-decision",
      "system_fingerprint": "b11189-a25c9865f",
      "object": "chat.completion",
      "usage": {
        "completion_tokens": 1,
        "prompt_tokens": 47,
        "total_tokens": 48,
        "prompt_tokens_details": {
          "cached_tokens": 42
        }
      },
      "id": "chatcmpl-xJB0Z4Bw1EntLkZcEqSrhNwxXdPw32r3",
      "timings": {
        "cache_n": 42,
        "prompt_n": 5,
        "prompt_ms": 37.237,
        "prompt_per_token_ms": 7.4474,
        "prompt_per_second": 134.27504901039288,
        "predicted_n": 1,
        "predicted_ms": 0.001,
        "predicted_per_token_ms": 0.0,
        "predicted_per_second": 0.0
      }
    }

    レスポンスに詳細を出す。

    BODY=`cat << 'EOS'
    {
      "messages": [
        {
          "role": "system",
          "content": "顧客のレビューを 1 (非常に悪い)から 5 (非常に良い)の範囲で評価してください。 1 桁の数字で回答してください。"
        },
        {
          "role": "user",
          "content": "料理は最高だが、接客がひどい。"
        }
      ],
      "grammar": "root ::= [1-5]",
      "max_tokens": 1,
      "logprobs": true,
      "top_logprobs": 262144,
      "post_sampling_probs": false
    }
    EOS`
    
    curl -s http://127.0.0.1:8080/v1/chat/completions \
      -H 'Content-Type: application/json' \
      -d "$BODY" | jq '.choices[0].logprobs.content[0].top_logprobs[] | select(.token | test("^[1-5]$")) | {id, token, logprob, prob: (.logprob | exp)}'

    5 段階評価のそれぞれの予測確率を見る。

    {
      "id": 236800,
      "token": "3",
      "logprob": -0.03777168691158295,
      "prob": 0.9629327659495075
    }
    {
      "id": 236778,
      "token": "2",
      "logprob": -3.295523166656494,
      "prob": 0.03704865735394892
    }
    {
      "id": 236770,
      "token": "1",
      "logprob": -13.627129554748535,
      "prob": 1.2072934104049992e-06
    }
    {
      "id": 236810,
      "token": "5",
      "logprob": -16.190160751342773,
      "prob": 9.304703198639225e-08
    }
    {
      "id": 236812,
      "token": "4",
      "logprob": -17.642488479614258,
      "prob": 2.1775323025671324e-08
    }

    idtoken予測確率 (%)236800396.2923677823.7023677010.0001223681050.000009323681240.0000022\newcommand{\arraystretch}{1.5} % \begin{array}{|l|l|l|} \hline \text{id} & \text{token} & \text{予測確率 (\%)} \cr \hline \text{236800} & \text{3} & \text{96.29} \cr \hline \text{236778} & \text{2} & \text{3.70} \cr \hline \text{236770} & \text{1} & \text{0.00012} \cr \hline \text{236810} & \text{5} & \text{0.0000093} \cr \hline \text{236812} & \text{4} & \text{0.0000022} \cr \hline \end{array}

    オプション

    logprobs(true / false)

    • 確率の情報をレスポンスに含めるかどうか。

    • 指定しない場合、choices[0].logprobs は null になる。

    • true にすると、出力トークンの logprob(確率の自然対数)が返る。

    top_logprobs(件数)

    • 出力トークン以外の候補を、確率の高い順に何件返すかを決める。

    • logprobs: true がないとエラー。

    • コンテキストレングスの上限値 262,144 を指定すると全トークン分が返る

    post_sampling_probs(true / false、llama.cpp 独自)

    • どの段階の確率を返すかを切り替える

    • false(デフォルト):grammar やサンプラーを通す前の、モデルの素の分布。キーは logprob / top_logprobs 。

    • true:grammar とサンプラー(top-k、min-p など)を通過した後の分布。キーは prob / top_probs に変わり、対数ではなく確率そのものになる。

    オプションが必要な時

    • 出力だけを使う時は、3 つとも不要。

    • モデルが本来どの選択肢をどれくらい選びたがっているかを見たい時。

    • 実際の抽選でどの候補が残り、どの確率で選ばれたかを見たい時に post_sampling_probs: true を加える。

    コスト

    • top_logprobs を大きくすると、レスポンスが重くなる。

    ローカル LLM によるぷよぷよ操作検証

    概要

    • llama serve 上のローカル LLM にぷよぷよを操作させる。

    • LLM の役割はコントローラーの操作。

    • 会話履歴なし。毎回「システムプロンプト+現在の盤面」のみを送る。

    • 盤面の表記は、着地済みが大文字、操作中が小文字。

    • 応答を受けたら即座に次のリクエストを送信する。

    GBNF による出力制約

    右移動(MR)、左移動(ML)、下(DN)、右回転(CW)、左回転(CC)の 5 択に固定。

    root ::= "MR" | "ML" | "DN" | "CW" | "CC"

    モデル別の結果

    • 4B(Gemma):ほぼ `DN` のみ。

    • 12B(Gemma):左右移動あり、連鎖も発生。

    • 27B(Qwen):ほぼ `DN` のみ。

    大問題

    • 回転がほとんど出ない。プロンプトに回転の例を追加しても変化なし。

    テトリスの事例

    • a16z TetrisBench:フロンティアモデルでも 1 手ずつの選択は破綻。最終的には、LLM に盤面評価関数をコードで書かせる方式に転換

    • Jev:ゲームエンジンが「回転×列」の全配置を事前計算し、Jev はその候補から選ぶだけだった。回転や移動の見た目は、描画側で後付けしたもの。(確認したものがたまたまこの構成だったいう可能性はある)

    仕様変更: 各操作後に下まで落ちた盤面からの選択

    • 5 つの操作それぞれについて「操作後にそのまま下まで落ちた盤面」を生成し、A〜E のラベルを付けて提示

    root ::= "A" | "B" | "C" | "D" | "E"
    • 回転が出るようになり、4 つ揃える方向の挙動も見られた。

    • システムプロンプトで挙動の傾向をある程度制御できる。

    • ただし記述問題からマークシート問題に成り下がる。

    所感

    • 実際にやっていることは、計算で割り出せる候補からの選択。

    • Jev 方式に近づけた時点で、LLM に操作させる面白さがほぼ消えた。

    • 一手ずつの操作は回転で行き詰まり、結果からの選択は面白さを失う。この板挟みで興味が急速に低下。

    以上


    あなたへのおすすめ