
Jevのクローン「Kev」をM4 Mac 16GBで動かしました。新しい0.8Bは1回1.96秒、旧版の0.6Bは0.20秒で、約10倍の差でした
「はい/いいえ」や「3択のどれか」を、ラベルではなく確率つきで返してくれる判断モデルの Jev。その仕組みを真似て、自分のマシンで学習・実行できるようにしたのが Kev です。Hacker News で152ptを集めていました。
Kev の README には「Mac では新しい Qwen3.5 版より、旧世代の Qwen3 版のほうが速い」と書いてあります。本当にそうなのか、手元の M4 / メモリ16GB の MacBook で同じリクエストを投げて測りました。
この記事でわかること:
Kev を Mac で動かす手順(コピペで再現できます)
M4 16GB で測った新版0.8Bと旧版0.6Bのレイテンシ
README のコマンドがそのままでは動かなかった箇所と回避策
16GB の Mac で 4B を動かそうとして起きたこと
リポジトリ: https://github.com/jaredpalmer/kev (Apache-2.0)
Kev は何をするモデルか
Kev は Qwen3.5 をベースにした小さな判断モデルで、0.8B / 4B / 9B の3サイズがあります。1回のリクエストで、次の3種類の質問をまとめて投げられます。
noul: はい/いいえ(「至急対応が必要か?」→ 0.93)
choice: 選択肢のどれか(「どの部署が担当?」→ returns 0.47 / shipping 0.28 / billing 0.25)
score: 段階評価(「怒り度は?」→ 0〜2のどこか)
ポイントは、答えが1つのラベルではなく確率で返ってくることです。問い合わせに返品・配送遅延・二重請求が全部入っていれば、部署の確率もそのぶん割れます。API は TypeSafe の System One と同じ形なので、公式の Python SDK をそのまま向けられます。
README 自身が出している Mac(M5・bf16)の数字はこうです。5問×3択、約230トークンの文章での中央値です。
Kev-0.8B: 329ms(旧版 Kev-0.6B: 123ms)
Kev-4B: 779ms(旧版 Kev-4B: 174ms)
Kev-9B: 約2秒(旧版 Kev-8B: 約300ms)
理由も書いてあって、Qwen3.5 の DeltaNet 層には Apple Silicon 向けの高速カーネルがなく、PyTorch の参照実装で動いているから。「Mac で低レイテンシが要るなら当面 Qwen3 版を使え」「次は MLX バックエンドを予定」とのことです。
動かす手順
必要なのは Python 3.12 以上と uv だけです。uv が入っていなければ先に入れます。
brew install uvリポジトリを取ってきて、依存関係を入れます。
git clone https://github.com/jaredpalmer/kev.git
cd kev
uv sync --extra serve新版の Kev-0.8B を起動します。初回はベースモデルとアダプタのダウンロードが入ります。
KEV_DTYPE=bf16 uv run --extra serve python -m kev.serve --run jaredpalmer/kev-0.8b --port 8009`serving jaredpalmer/kev-0.8b (...) on mps :8009` と出れば、Apple の GPU(MPS)で動いています。
旧版の Kev-0.6B(Qwen3)は、`--run` を差し替えるだけです。
KEV_DTYPE=bf16 uv run --extra serve python -m kev.serve --run jaredpalmer/kev-0.6b --port 8009別のターミナルから、README の例と同じ形でリクエストを投げられます。
curl -s localhost:8009/v1/systemone -H 'content-type: application/json' -d '{
"state": "Shoes arrived two weeks late and in the wrong size. Also I see two charges on my card.",
"model": "kev-latest",
"questions": {
"escalate": {"type": "noul", "instructions": "Does this need urgent human attention?"}
}}'返ってくる JSON の `latency_ms` がモデルの処理時間です。
M4 16GB で測った結果
README に揃えて、5問×3択のリクエストを作りました。文章は英語の問い合わせ(サイズ違い・配送遅延・二重請求・返品ボタンのエラー)で、入力は343トークン。同じリクエストを13回投げて、1回目(ウォームアップ)を除いた中央値を取っています。
検証環境: Apple M4 / メモリ16GB、bf16、Kev リポジトリ 2026-09-21 時点(コミット 4f8110a)。
Kev-0.8B(Qwen3.5・新版): 1,958ms(1回目は5,378ms)
Kev-0.6B(Qwen3・旧版): 197ms(1回目は965ms)
約10倍の差でした。README の M5 では 329ms 対 123ms で約2.7倍なので、M4 だと差がさらに開いています。ばらつきは小さく、0.8B は1,941〜1,972ms、0.6B は196〜198ms にほぼ収まっていました。
M5 の 329ms に対して M4 の 1,958ms は約6倍です。文章の長さ(約230トークン対343トークン)の違いもあるので、そのまま比べられる数字ではありません。ただ、旧版0.6Bは M4 でも197msで、「1問ずつ待たされる感じはない」速さでした。
答えはどれくらい違ったか
同じ5問に対する答え(一番確率が高い選択肢)はこうでした。
担当部署: どちらも returns(0.8Bは0.68、0.6Bは0.51で shipping 0.43 と競っている)
口調: どちらも frustrated(0.92 / 0.95)
緊急度: どちらも today(0.57 / 0.66)
返信手段: 0.8Bは chat(0.51)、0.6Bは email(0.59)で割れた
最大のリスク: どちらも lost customer(0.80 / 0.76)
5問中4問は同じ答えでした。README の精度表では、学習に使っていないデータでの正答率は0.8Bが0.684、0.6Bが0.642(テストセット)で、差は4.8ポイントです。1件だけの比較なので精度の優劣は言えませんが、速さを10倍取るか、数ポイントの精度を取るかの選択になりそうです。
README のコマンドがそのままでは動かなかった
README には「`--run jaredpalmer/kev-4b@qwen3` のように Hub のリビジョンも指定できる」とあります。ところが、これをそのまま実行すると次のように出て、テスト用のダミーにフォールバックして落ちました。
jaredpalmer/kev-4b@qwen3 not found, falling back to runs/smoke
FileNotFoundError: [Errno 2] No such file or directory: 'runs/smoke/head.pt'`kev/serve.py` を読むと、Hub の ID かどうかを `[\w.-]+/[\w.-]+` という正規表現で判定していて、`@` が入ると Hub の ID として扱われないのが原因でした(コミット 4f8110a 時点)。Hugging Face 側には `qwen3` リビジョンがちゃんとあります。
回避策は、リビジョンを手元のフォルダに落としてからフォルダを渡すことです。
uv run python -c "
from huggingface_hub import snapshot_download
snapshot_download('jaredpalmer/kev-4b', revision='qwen3', local_dir='/tmp/kev-4b-qwen3')"
KEV_DTYPE=bf16 uv run --extra serve python -m kev.serve --run /tmp/kev-4b-qwen3 --port 8009これで起動までは通ります。なお、旧版の0.6Bは `jaredpalmer/kev-0.6b` という別リポジトリなので、この問題には当たりません。
16GB の Mac で 4B を動かすとどうなったか
上の回避策で、旧版の Kev-4B(Qwen3)を起動しました。サーバーは30秒ほどで立ち上がったものの、リクエストを投げてから18分待っても、1回も返ってきませんでした。
そのときのメモリの状況です。
スワップ使用量: 14,336MB 中 13,775MB
サーバープロセスの常駐メモリ: 約20MB(ほぼ全部がスワップに追い出されている)
完全にスワップに沈んでいました。README には「4B と 9B は bf16 で32GBの Mac に載る」と書かれていて、16GB は想定の外です。さらに、サーバーは起動時に LoRA の重みを fp32 で合成してから bf16 に落とす処理をしているので、合成の途中で一時的にメモリを大きく使っているのでは、と見ています(ここは推測で、確かめていません)。
16GB の Mac で使うなら、0.8B か旧版0.6B まで、というのが今回の実測での結論です。
まとめ
Kev は Jev 風の判断モデルで、はい/いいえ・選択肢・段階評価を確率つきで返す
M4 16GB では、新版 Kev-0.8B が1,958ms、旧版 Kev-0.6B が197msで約10倍の差(README の M5 では約2.7倍)
同じ5問の答えは4問が一致。速さを取るなら旧版0.6B
README の `@qwen3` 指定は現時点では動かないので、フォルダに落として渡す
4B は16GBではスワップに沈んで返ってこなかった。README どおり32GB以上が前提
Mac で試すなら、まず旧版の0.6Bから。`--run jaredpalmer/kev-0.6b` の1行で動きます。MLX バックエンドが来たら、新版の数字も測り直すつもりです。
小さいモデルは16GBでも軽く動きますが、大きいモデルを手元で動かそうとすると必要なメモリは桁で変わります。GLM-5.2 をローカルで動かすのに最低223GB必要だった、その内訳と現実的な落としどころをまとめてあります。