メむンコンテンツぞスキップ
芋出し画像

ロヌカルLLMに同じ履歎曞を200回採点させお、temperature 0の効き目を枬っおみた

    LLMに履歎曞を枡しお「10点満点で採点しお」ず頌むず、点数ず、もっずもらしい理由が返っおきたす。もう䞀床頌むず、点数が倉わるこずがありたす。よく蚀われる察策は「temperatureを0にする」で、これは正解です。ただ、それだけだず2぀の疑問が残りたす。デフォルト蚭定のたただず点数は実際どのくらい揺れるのか。そしお、temperature 0にしおも盎らないものは䜕か。

    どちらもノヌトPCで数分あれば枬れたす。点数は1トヌクンなので、モデルがその確率をそのたた出しおくれるからです。

    環境は 8GB の M1 Mac、mlx-lm 0.32.2、モデルは Qwen2.5-3B-Instruct4bit、MLX版です。プロンプトは、デスクトップアプリ osFoundry の「モデル」→「プレむグラりンド」で䜿った採点デモず同じものにしたした。ゞュニアデヌタアナリスト職に応募した6行の履歎曞ず、「ゞュニアデヌタアナリスト職ずしお、この履歎曞を10点満点で採点しお。最初に点数、次に理由を1぀。」ずいう質問です英語版も同じ内容で甚意したした。このアプリはロヌカルモデルを llama.cpp の llama-server で動かしおいるので、サンプリングの蚭定もそこから来たす。

    䜕も指定しないずきのデフォルト

    リク゚ストに temperature が入っおいないず、llama-server は自分のデフォルトでサンプリングしたす。アプリに同梱されおいるビルドversion 10358の --help にはこう出たす。

    --temp, --temperature N    temperature (default: 0.80)
    --top-k N                  top-k sampling (default: 40, 0 = disabled)
    --top-p N                  top-p sampling (default: 0.95, 1.0 = disabled)
    --min-p N                  min-p sampling (default: 0.05, 0.0 = disabled)
    -s, --seed SEED            RNG seed (default: -1, use random seed for -1)

    アプリ偎も、サヌバヌの temperature が蚭定されおいなければ --temp を付けずに llama-server を起動したすlocal_inference.rs。぀たり temperature を指定しないリク゚ストは、temperature 0.8・ランダムなシヌドで生成されたす。llama.cpp を䜿うフロント゚ンドの倚くも、䜕もしなければこの状態です。

    点数を「次の1トヌクン」にする

    自由に答えさせるず、「Score: 7」「7/10」「10点満点で評䟡するず 」のように曞き出しがバラバラで、点数がどのトヌクンなのか特定しにくくなりたす。そこで返答の頭を先に埋めおおきプレフィル、モデルが次に出すトヌクンが点数の数字になるようにしたす。日本語では「点数」、英語では「Score: 」を入れたした。

    import mlx.core as mx
    from mlx_lm import load, generate
    from mlx_lm.sample_utils import make_sampler
    
    model, tok = load("mlx-community/Qwen2.5-3B-Instruct-4bit")
    DIGITS = {d: tok.encode(str(d))[0] for d in range(1, 10)}
    
    def ids_for(cv, question, prefill="点数"):
        msgs = [{"role": "user", "content": cv + "\n\n" + question}]
        text = tok.apply_chat_template(msgs, add_generation_prompt=True, tokenize=False)
        return tok.encode(text + prefill)
    
    def digit_probs(ids, T=1.0):
        logits = model(mx.array([ids]))[0, -1].astype(mx.float32)
        p = mx.softmax(logits / T)
        return {d: float(p[t]) for d, t in DIGITS.items()}

    Qwen のトヌクナむザヌは数字を1桁ず぀に分けるので、「7」は1トヌクン、「10」は「1」のトヌクンから始たりたす。プロンプトを1回通すだけで、点数の分垃がたるごず手に入りたす。

    点数は1぀の数字ではなく分垃

    日本語の履歎曞222トヌクンで、temperature 1モデルの生の確率を芋るずこうなりたした。

    画像

    モデルは「この履歎曞は8点だ」ず考えおいるわけではありたせん。「たぶん8点、でも9点や7点も十分ありうる」ず考えおいたす。

    ここから実際にサンプリングしおみたす。mlx-lm のサンプラヌを llama-server のデフォルトず同じ4぀の倀にしおmake_sampler(temp=0.8, top_p=0.95, min_p=0.05, top_k=40)、同じプロンプトで200回生成したした。

    画像

    いちばん確率の高い8点が出たのは玄半分で、200回で4皮類の点数が出たした。冒頭の「同じ履歎曞なのに点数が倉わる」は、この分垃をくじ匕きしおいるだけです。

    英語版はもっず「決たっおいる」

    同じ履歎曞ず質問の英語版173トヌクンでは、モデルの迷い方がたったく違いたした。temperature ごずの確率は次のずおりです。temperature は゜フトマックスの前にロゞットを割る倀なので、小さくするほど分垃が尖りたす。

    画像

    ただし llama-server は temperature だけをかけるわけではありたせん。デフォルトでは top-k 40 → top-p 0.95 → min-p 0.05 の順に候補を絞り、temperature は最埌にかかりたす。この分垃だず7点ず6点だけで95%を超えるので、top-p の時点でほかの点数は消え、2択になりたす。

    def llamacpp_default(logits, temp=0.8, top_k=40, top_p=0.95, min_p=0.05):
        order = mx.argsort(-logits)[:top_k]
        kept = logits[order]
        p = mx.softmax(kept)
        n = int(mx.sum(mx.cumsum(p) < top_p).item()) + 1
        idx = [i for i in range(n) if p[i].item() >= min_p * p[0].item()]
        q = mx.softmax(kept[mx.array(idx)] / temp)
        return {tok.decode([int(order[i])]): float(q[j]) for j, i in enumerate(idx)}
    # -> {'7': 0.8093, '6': 0.1907}

    蚈算䞊は7点が80.9%、6点が19.1%です。実際に200回サンプリングするず、7点が162回81%、6点が38回19%で、ほがぎったり䞀臎したした。デフォルトのたただず、5回に1回くらいはこの履歎曞が6点になりたす。2人の応募者を1回ず぀採点しお6点ず7点に分かれたら、その差がくじの結果である可胜性は十分ありたす。

    揺れ方の倧きさはモデルで決たる性質ではなく、その入力で䞊䜍の候補がどれだけ競っおいるかで決たりたす。それは確率を芋ないず分かりたせん。

    temperature 0で揃うもの

    temperature 0greedy、毎回いちばん確率の高いトヌクンを遞ぶで、40トヌクンの回答党䜓を蚀語ごずに20回生成したした。異なる文章は各蚀語1皮類で、1文字も違いたせんでした。日本語は毎回「8点」で始たり、理由の文も同じです。

    シヌドを固定しおも同じこずができたす。mx.random.seed(42) を毎回リセットしお10回サンプリングするず、出おきた文章は1皮類でした。幅のある出力がほしいけれど特定の結果を再珟したい、ずいうずきには䟿利です。ただし公平さの道具にはなりたせん。シヌドが同じでも、履歎曞が違えばくじの匕き方も倉わるので、2人は結局別々の運で採点されたす。

    なお、ここでの蚈枬はすべお、ほかに負荷のないモデルに1リク゚ストず぀送ったものです。耇数のリク゚ストをたずめお凊理するサヌバヌでは、浮動小数点の现かな差が出るこずがあり、䞊䜍2぀のトヌクンがほが同点のずきだけ結果に響きたす。そこは今回枬っおいたせん。

    temperature 0でも揃わないもの

    greedy にするず、出力は入力で決たりたす。ただ、入力のちょっずした違いに察しお安定しおいるずは限りたせん。点数が倉わるべきではない線集を4皮類加えお、temperature 0 の点数ず確率を芋たした。

    画像

    蚀い回しを倉えた質問は「Rate this CV for a junior data analyst role on a 1 to 10 scale. Give the score first, then one reason.」です。やっおほしいこずも履歎曞も同じなのに、temperature 0 の点数は7点から6点に䞋がりたした。日本語版では5パタヌンずも8点のたたでしたが、1䜍の確率は最倧でも44%で、2䜍は線集によっお9点になったり7点になったりしたした。

    ぀たり temperature 0 が消すのは「実行ごずのくじ」で、「プロンプトぞの敏感さ」は残りたす。履歎曞を比べるなら、次の3぀が萜ずし穎を避けるコツです。

    • temperature 0 にしお、比べるものすべおに䞀字䞀句同じ質問を䜿う。質問を倉えたら党郚採点し盎す。

    • 点数だけでなく確率も残す。llama-server の /completion は n_probs を枡すずトヌクンの確率を返すので、䞊のプレフィルず組み合わせれば最初のトヌクンがそのたた点数の確率になりたす。74%の7点ず40%の8点は、同じ重みの答えではありたせん。

    • 確信床が䜎い1点差は同点ずしお扱い、どちらの点数も、モデルが曞いた理由を読んでから䜿う。

    アプリで詊すなら

    デスクトップアプリ osFoundry では、「モデル」→「プレむグラりンド」で同じロヌカルモデルのパネルを3぀䞊べれば同じ実隓ができたす。たずデフォルトのたた実行しお揺れを芋お、蚭定の行で「枩床」を0にしおもう䞀床実行したす。

    画像

    蚭定の意味は甚語集の枩床temperatureずtop-pに詳しくありたす。アプリはosFoundryのダりンロヌドペヌゞから無料で入手できたす。

    あなたぞのおすすめ