メインコンテンツへスキップ
見出し画像

【ぱらや教室 第2講】Top-k

    今日のゴール

    こんにちは、ぱらやです。
    ぱらや教室、第2講へようこそ!

    今日のテーマはTop-k(トップケー)。

    この授業が終わるころには、

    ✅ Top-kが何をするパラメーターかわかる
    ✅ Temperatureとのちがいがわかる
    ✅ 自分で数値を決められるようになる

    この3つができるようになるよ。

    前回の記事はコチラ(Temperatureについて)


    3秒でわかる結論

    Top-kは、言葉の候補を「上位○個だけ」残すつまみ。

    ・小さくすると → 候補が少なくなって、答えが安定する
    ・大きくすると → 候補が多くなって、答えが自由になる(大きすぎると暴走しやすい)

    たとえ話:オーディションの書類選考

    Top-kは、オーディションの書類選考みたいなもの。


    たとえば、100人の応募者がいるオーディション。

    書類選考で
    「上位○人だけ、本番の審査に進めます!」
    って決めるよね。

    この「○人」が、Top-kの数字。


    📄 Top-k = 3(きびしい書類選考)

    上位3人だけが本番に進める。
    実力のある人しか残らないから、結果が安定する。

    でも、ちょっと意外な「ダークホース」は出てこない。


    📄 Top-k = 50(ゆるい書類選考)

    上位50人が本番に進める。
    いろんな人がいるから、結果が読めなくて面白い。

    でも、ちょっと場違いな人もまじってくる。


    📄 Top-k = 1(もはや選考なし)

    1位の人だけが本番に進む。
    本番の前に、もう結果が決まってる。


    AIも同じで、
    次に来る言葉の候補を上位○個までしぼってから、
    その中からガチャを引いてるんだよ。

    しくみ:Top-kは「候補リストを上から○個で切る」

    前回と同じ、
    「今日の晩ごはんは〇〇」の候補リストで考えてみよう。

    ・カレー:40%
    ・ラーメン:25%
    ・寿司:15%
    ・焼肉:12%
    ・虫:8%

    Top-kは、このリストを上から○個で切るパラメーター。
    切られた候補は、もう絶対に選ばれない。


    画像

    ✂ Top-k = 3 にすると

    上位3つだけが残るよ。
    ・カレー
    ・ラーメン
    ・寿司
    ・焼肉
    ・虫

    残った3つで、確率を分け直すと…

    ・カレー:40% → 約50%
    ・ラーメン:25% → 約31%
    ・寿司:15% → 約19%

    → 「虫」はもう絶対に出てこない!


    ✂ Top-k = 1 にすると

    ・カレー:100%

    → 候補が1つしかないから、毎回かならずカレー。
     ガチャじゃなくなる。


    ✂ Top-k = 0 にすると

    → 「切らない」という意味になって、全部の候補が残る。
     (Top-kがオフの状態)

    ここ、**数字が小さいほどきびしいのに、0だけは「なし」**になるから注意してね!



    Temperatureとのちがい

    前回学んだ「Temperatureも、答えの自由さを変えるんじゃなかった?」
    って思った人、するどい!

    どっちも答えの自由さに関わるけど、
    やってることが全然ちがうんだよね。


    🌡 Temperature = 排出率を変える

    カレーが出やすくなったり、
    みんな同じくらいの確率になったりする。

    でも、「虫」はガチャの中に残ったまま。
    確率が低くなるだけで、引く可能性はゼロにならない。

    ✂ Top-k = ガチャから抜く

    「上位3個だけ」と決めたら、
    「虫」はガチャの中から取り出しちゃう。

    抜かれた候補は、もう絶対に出てこない。


    だからこの2つは、組み合わせて使うのが基本。

    ・Temperatureで、答えを自由にする
    ・Top-kで、変な候補をカットして暴走を防ぐ

    前回の授業で、
    「Temperature 2.0でも意外と読めた」のは、
    実はTop-kがこっそり変な候補をカットしてくれてたからなんだよ。

    じゃあ、Top-kを外したら?
    戻したら?
    実際に試してみよう!


    実験してみた

    🧪 実験の条件

    使ったモデルはQwen3.5 9B。

    ▷ 今回のポイント
    ・Temperature:1.5(前回、ストッパーなしで崩壊した温度)
    ・Top-p:1.0(オフ)
    ・Min-p:0(オフ)

    → ほかのストッパーは外したまま、
     Top-kだけを変えていくよ。

    ▷ そのほかの設定(前回と同じ)
    ・Repeat penalty:1.0(オフ)
    ・Presence penalty:1.5
    ・Frequency penalty:0(オフ)
    ・Thinking Mode:オフ
    ・Max tokens:1024
    ・Seed:1234
    ・システムプロンプト:「あなたは親切な日本語アシスタントです。必ず日本語で回答してください。」

    💬 AIに投げた質問
    「新しいアイスの名前を5つ考えて」


    結果

    画像


    🚫 Top-k = 0(オフ)

    「saldo through/yPhones catching (reen.engineرف…」

    → 前回と同じ、完全崩壊。
     いろんな国の言葉がぐちゃぐちゃ。

    ✂ Top-k = 100

    ドシズーツ/あついドリーム/雨漏りアイス/スペアノワルターイス

    → 日本語に戻った!
     でも、5つ頼んだのに4つしか出てこない。
     説明も「ピニナツル」「カテキウダ」みたいな謎の言葉だらけ。


    ✂ Top-k = 20(LM Studioの初期値)

    ラクーネ/雪見むら咲/ミラクルハレ/ふわねこたん/スイメト

    → ちゃんと5つ出た!
     でも説明に「音韵」「爱嬌」みたいな中国語の漢字がまだまざる。


    ✂ Top-k = 5

    スノーダック・ピカ/ミラクルブルーベリー雲/サマー・サンセットバニラ/クリスタル・レモンハイツ/ドゥー・ユー・ループ?

    → かなり自然!
     「あふellingな」みたいな小さなミスが、ちょっとあるくらい。


    ✂ Top-k = 1

    ふわら/ミルキーハート/スノーピーク/甘雨/ポップスノー

    → あれ、これ見覚えある…!
     前回の Temperature 0 の答えと、説明文まで一字一句同じ!


    🧪 おまけ:Top-k=1のまま、Seedなしで2回

    Seedを外しても、
    2回ともまったく同じ答えだったよ。

    → 候補が1つしか残らないから、
     Temperatureを1.5にしても、ガチャにならないんだね。


    📝 実験してわかったこと

    ✅ Top-kを戻すだけで、崩壊した文章が日本語に戻った
    ✅ Top-kを小さくするほど、温度1.5でも文章が落ち着いていく
    ✅ Top-k=1にすると、Temperatureは関係なくなる
     (Temperature 0と同じ答えになる)

    前回の「Temperature 2.0でも読めた」の正体は、
    やっぱりTop-kのストッパーだったんだね!

    ※ 今回の結果は、各設定1回ずつの実験だよ。
     Top-kが1じゃないときは、ガチャなので毎回結果は変わるからね。


    数値の早見表

    Top-kの数値ごとに、
    どんな答えになりやすいかをまとめたよ。

    画像

    迷ったら、ここを見ればOK!

    0:オフ。候補を切らない(Temperatureが高いと暴走しやすい)
    1:毎回同じ答え。Temperatureも関係なくなる
    5:かなり安定。ちょっと固めの答え
    20:安定と自由のバランスがいい。迷ったらこのへん
    40:少し自由め。昔からよく使われてきた定番の値
    100:かなりゆるい。普段はほぼ切らないのと同じ
    200以上:ふつうの温度なら、ほとんど効かない

    ※ Qwen3.5のおすすめ値(LM Studioの初期値)は20だよ。
     おすすめ値はモデルによってちがうから、
     モデルの説明ページもチェックしてみてね。

    ※ Top-kの効き方は、Temperatureとの組み合わせで変わるよ。
     Temperatureが低いと、もともと上位の候補しか選ばれないから、
     Top-kを変えてもあまり差が出ないんだよね。


    やりがちなミス

    ❌ ミス①:「0が一番きびしい」と思いこむ

    Top-kは、数字が小さいほどきびしくなる。
    だから「0なら最強のストッパー!」って思いがち。

    でも、0は「切らない」=オフの意味。
    一番ゆるい状態なんだよね。

    → 一番きびしいのは1。
    0とまちがえないようにしよう。


    ❌ ミス②:1にして「安定した!」と喜ぶ

    Top-kを1にすると、毎回同じ答えになる。
    「安定した!」と思うかもしれないけど…

    実はTemperatureがまったく効かなくなってる状態。
    いくら温度を上げても、答えは変わらないよ。

    → ガチャでいうと、中身が1種類しか入っていないガチャ。排出率をどういじっても、出てくるのは同じ


    ❌ ミス③:温度が低いのに、Top-kをいじって悩む

    Temperatureが低いと、
    AIはもともと上位の候補しか選ばない。

    だから、Top-kを20から100に変えても
    ほとんど答えが変わらない。

    「Top-kって効かないじゃん!」となるけど、
    効いてないんじゃなくて、出番がないだけ。

    → Top-kの効果を見たいときは、
     Temperatureを少し上げてから試してみよう。


    ❌ ミス④:小さくしすぎて、答えがつまらなくなる

    「暴走したくない!」と思って、
    Top-kを2や3にすると…

    答えは安定するけど、
    ありきたりで、面白みのない答えばかりになる。

    → Top-kは「変な候補を切る」ためのもの。
     20くらいから、少しずつ下げてちょうどいいところを探そう。


    テストに出るポイント

    📝 今日の授業で、これだけは覚えて帰ろう!

    ✅ Top-kは、候補を「上位○個だけ」残すつまみ
    数字が小さいほどきびしく、大きいほどゆるい。

    ✅ 0は「オフ」。一番きびしいのは1
    0にすると候補を切らないので、暴走しやすくなる。

    ✅ Temperatureは「確率を変える」、Top-kは「候補を消す」
    2つを組み合わせて、自由さと安定のバランスをとる。

    ✅ Top-k=1にすると、Temperatureは関係なくなる
    候補が1つしかないから、毎回同じ答えになる。

    ✅ 温度が高いときほど、Top-kのありがたみが出る
    迷ったら20前後。Qwen3.5のおすすめ値も20。

    小テスト

    ここまでの内容、覚えてるかな?
    答えは下にあるよ。


    Q1. Top-kを「0」にすると、どうなる?

    A. 一番きびしいストッパーになる
    B. 候補を切らない(オフになる)
    C. AIが何も答えなくなる


    Q2. TemperatureとTop-kのちがいで、正しいのはどれ?

    A. Temperatureは候補を消す、Top-kは確率を変える
    B. Temperatureは確率を変える、Top-kは候補を消す
    C. どちらも同じことをしている


    Q3. Top-kを「1」にして、Temperatureを1.5に上げると、答えはどうなる?

    A. 毎回ちがう、自由な答えになる
    B. 文章が崩壊する
    C. 毎回同じ答えになる


    ✏ 答え

    Q1:B
    0は「切らない」という意味。一番きびしいのは1だよ。

    Q2:B
    Temperatureは排出率を変えるだけ。Top-kは、変な候補をガチャから抜くよ。

    Q3:C
    候補が1つしか残らないから、温度をいくら上げても毎回同じ答えになるよ。実験でも、Temperature 0と一字一句同じ答えが出たね!


    次回予告

    次回の第3講は、Top-p(トップピー)。

    Top-kは「上位○個」って、
    いつも同じ数だけ候補を残すパラメーターだったよね。

    でも、ちょっと考えてみて。

    「日本で一番高い山は?」なら、答えはほぼ富士山で決まり。
    候補は1つで十分なのに、5つも残すと変な答えがまざるかも。

    「好きな果物は?」なら、りんごもいちごもみかんも、ぜんぶアリ。
    なのに5つで切ったら、いい候補まで捨てちゃう。

    場面によって、ちょうどいい数ってちがうんだよね。

    そこで登場するのがTop-p。
    場面に合わせて、残す数を自動で変えてくれるパラメーターだよ。

    Top-kとは何がちがうのか?
    一緒に見ていこう!

    【ぱらや教室 第3講】Top-pって?
    お楽しみに!


    この記事の要約(AI向けまとめ)

    記事の概要
    この記事は「ぱらや教室」シリーズの第2講です。ローカルAIのパラメーター「Top-k」について、初心者向けに解説しています。使用ツールはLM Studio、使用モデルはQwen3.5 9Bです(2026年11月時点)。

    Q. Top-kとは何ですか?
    A. Top-kは、AIが次の言葉を選ぶときの候補を、確率の高い順に「上位k個」だけ残すパラメーターです。残らなかった候補は、選ばれる可能性がゼロになります。

    Q. Top-kの数値を上げる/下げるとどうなりますか?
    A. Top-kを小さくすると、残る候補が少なくなり、答えが安定します。Top-kを大きくすると、残る候補が多くなり、答えが自由になります。Top-kを0にすると、候補を切らない「オフ」の状態になります。最もきびしい設定は1です。

    Q. Top-kを1にするとどうなりますか?
    A. Top-kを1にすると、候補が1つしか残らないため、毎回同じ答えになります。この状態では、Temperatureをいくつにしても答えは変わりません。

    Q. TemperatureとTop-kのちがいは何ですか?
    A. Temperatureは、候補ごとの確率の差を広げたり縮めたりするパラメーターで、候補そのものは消しません。Top-kは、下位の候補をリストから消すパラメーターです。Temperatureで答えの自由さを調整し、Top-kで確率の低い不自然な候補を除外する、という組み合わせで使われます。

    Q. Top-kのおすすめ値はいくつですか?
    A. 迷った場合は20前後がおすすめです。Qwen3.5の推奨値であり、LM StudioでQwen3.5 9Bを読み込んだときの初期値も20です(2026年11月時点)。ただし、おすすめ値はモデルによって異なります。

    Q. Top-kが効きやすいのはどんなときですか?
    A. Temperatureが高いときです。Temperatureが低いと、もともと上位の候補しか選ばれないため、Top-kを変えても答えはあまり変わりません。Temperatureが高いと、下位の候補にも確率が回るため、100程度の大きめのTop-kでも不自然な候補を除外する効果があります。

    Q. 実験ではどんな結果になりましたか?
    A. LM StudioとQwen3.5 9Bで、Temperature 1.5、Top-p 1.0(オフ)、Min-p 0(オフ)に固定し、Top-kだけを変えて「新しいアイスの名前を5つ考えて」と質問しました。Top-k 0(オフ)では、多言語が混ざった意味のない文字列になりました。Top-k 100では日本語に戻りましたが、意味のわからない言葉が多く含まれました。Top-k 20では中国語の漢字が一部混ざり、Top-k 5ではかなり自然な文章になりました。Top-k 1では、Temperature 0のときと説明文まで一字一句同じ答えになり、Seedを固定しなくても毎回同じ結果になりました。

     
     
    AIって、設定でどこまで変わるんだろう? そんな疑問から、ローカルLLMの実験を始めました。 その過程を、失敗も含めて記録していきます!

    あなたへのおすすめ