メインコンテンツへスキップ
見出し画像

Qwenが重みを読む話を16GBのM4で追試。15分たっても1問目を読み終わりませんでした

    「LLMがモデルの重みを読んで、何のゲームを学習したネットワークか当てた」という話がHacker Newsで大きく伸びています。GPT-6 Astraは4問中4問正解、Simon WillisonさんはノートPCのQwen 3.8 27Bで4問中3問を当てたそうです。

    じゃあメモリ16GBのM4 Macに載る小さいモデルなら何問当たるのか。同じ問題を流してみたら、答えより先に「読み込み」で時間切れになりました。

    この記事でわかること:

    • 元の実験で何が問われていて、Astra・Qwen 3.8 27Bはどうだったか

    • 同じプロンプトがQwenのトークナイザーだと何トークンになるか

    • 16GBのM4で10万トークンを読ませたときの速度の落ち方

    • 自分で試す前にやっておくと安心な1手

    元の実験:重みの数字だけ見て、何のゲームか当てる

    元ネタは「Sparks of Weight-Space Programming」という研究です(ログ一式がGitHubで公開されています)。

    https://github.com/RikiyaT/lm_understand-logs

    10×10マスに縮めたBreakout・Pong・Pac-Man・Freewayの4つをそれぞれ強化学習で覚えさせた小さなネットワーク(500→32→32→5、重みは17,253個)を用意します。モデルに渡すのは、マス目と行動の説明と、小数3桁に丸めた重みの数字だけ。ゲームの候補は教えず、ツールも使わせません。

    公開ログの数字はこうです。

    • GPT-6 Astra:4問中4問正解。1問あたり入力約73,700トークン、71〜107秒

    • Simon Willisonさん(Qwen 3.8 27BのQ4_K_M・17GB、LM Studio):4問中3問正解。Freewayだけ外れ、1問あたり46分〜1時間5分

    一方で、spaCy作者のMatthew Honnibalさんは「ツールなしで重みを読む話と、コードで重みを書き換える話が混ざっていて誤解を招く」と批判していて、こちらもHNで829ポイント集めています。

    https://simonwillison.net/2026/Nov/3/qwen-can-interpret-model-weights/

    16GBのM4で試した環境

    • Mac:M4・メモリ16GB

    • 実行:Homebrew版のllama-server(llama.cpp)

    • モデル:Qwen3.5-4BのQ4_K_M(27Bは16GBに載らないので、手元で回せる大きさに落としました)

    • 設定:コンテキスト110,000、思考モードはオフ、出力上限600トークン

    • 問題:公開ログのBreakoutのプロンプトをそのまま1問だけ

    時間の上限は15分にしました。Simonさんの27Bが1問50分前後なので、4Bならもっと短く済むだろうと見込んでいました。

    結果:答えは0問。読み込みが92%で止まった

    最初につまずいたのはトークン数です。公開ログでは1問あたり約73,700トークンですが、Qwenのトークナイザーで同じプロンプトを数えると104,813トークンありました。約1.4倍です。

    最初にコンテキスト80,000でサーバーを立てたところ、リクエストは400エラーで弾かれました。数字が細かく切られるぶん、モデルが変わると同じ文章でもトークン数が大きく変わります。

    コンテキストを110,000に広げて流し直すと、読み込み(プロンプトの処理)の速度がどんどん落ちていきました。llama-serverのログから拾った、その時点までの平均速度です。

    • 2,059トークン目(2%):毎秒466トークン

    • 20,491トークン目(20%):毎秒300トークン

    • 40,971トークン目(39%):毎秒223トークン

    • 61,451トークン目(59%):毎秒163トークン

    • 96,267トークン目(92%):毎秒108トークン

    終盤は2,048トークン進むのに30秒以上かかっていて、区間の速度は毎秒60トークン台でした。15分(900秒)の時点で92%までしか読めず、1文字も答えないまま打ち切りです。4問分なら読み込みだけで1時間を超える計算になります。

    ここからは解釈です

    速さが落ちていくのは、文章が長くなるほど1トークンあたりに見直す範囲が広がるためだと考えています。16GBのMacで「長い数字の羅列を丸ごと読ませる」使い方は、モデルを小さくしても重いままでした。

    なので、この追試からは「4Bでも重みを読めるか」はまだ言えません。言えるのは、16GBのM4だと、答えを見る前に読み込みの壁があるということです。Honnibalさんの批判の当否を自分の手元で確かめるところまでは届きませんでした。

    自分で試すなら:先にトークン数を数える

    同じことをやるなら、流す前にトークン数を数えておくのがおすすめです。llama-serverを立てたら、次のコマンドで確認できます。

    git clone --depth 1 https://github.com/RikiyaT/lm_understand-logs
    cd lm_understand-logs/exp1_which_game
    
    llama-server -m Qwen3.5-4B-Q4_K_M.gguf -c 110000 -np 1 -ngl 99 -fa on --port 8091 --jinja &
    
    python3 -c "
    import json,urllib.request
    p=open('runs/breakout/prompt.txt').read()
    r=urllib.request.urlopen(urllib.request.Request('http://127.0.0.1:8091/tokenize',json.dumps({'content':p}).encode(),{'Content-Type':'application/json'}))
    print(len(json.load(r)['tokens']))
    "

    表示された数がコンテキスト(-c)より大きいと、さっきの400エラーで弾かれます。数えてから-cを決めると、無駄な立て直しが減ります。

    まとめ

    • 元の実験はAstraが4問中4問、Qwen 3.8 27Bが4問中3問

    • 同じプロンプトでも、Qwenのトークナイザーでは73,700→104,813トークンに増えた

    • 16GBのM4・Qwen3.5-4Bでは、15分で92%まで読んだところで打ち切り。答えは0問

    • 読み込み速度は毎秒466トークンから、終盤は毎秒60トークン台まで落ちた

    次は重みを一部の層だけに絞るか、時間を気にせず一晩回して、4Bが何問当てるかを確かめてみます。


    関連(有料):GLM-5.2をローカルで動かすのに最低何GB要るのか、実測で割り出した記録です。


     
     
    AI×開発の実験日記。Claude / Ollama / MLX を Mac で動かしたり自動化したり。SaaS勤務の30代、本業の合間に検証してnoteに書いてます。たまにやりすぎて寝不足。

    あなたへのおすすめ