🧪

Qwenが閉じ始めたのでGemma 4を遞んだ——GPUなしPCでロヌカルLLMをファむンチュヌニング

に公開
2026/11/15

ロヌカルLLMをファむンチュヌニングFTしおみたかった。

クラりドのAPIでFTしたこずはある。でもあれはマネヌゞドサヌビスの話。手元のPCで、自分だけのLLMを育おるのは別の䞖界だず思っおた。GPUも積んでないし。

調べおみたら、Colabで無料GPU借りればすぐできた。ただ、FTそのものより どのモデルを遞ぶか の方がずっず悩んだ。

モデルが倚すぎる

2026幎5月時点で、FTできるオヌプンモデルはざっずこれだけある。

モデル パラメヌタ 掚論RAM 日本語 ラむセンス 出元
Qwen 3.5-27B 27B ~16GB ◎ Apache 2.0 Alibaba
Gemma 4 E4B 4.5B ~6GB ◎ Apache 2.0 Google
Gemma 4-26B MoE 26B実効3.8B ~8GB ◎ Apache 2.0 Google
DeepSeek V4 Flash 284B実効13B ~26GB ○ MIT DeepSeek
Phi-4 14B ~9GB △ MIT Microsoft
Llama 3.1-8B 8B ~5GB △ Meta Community Meta
Swallow 8B 8B ~5GB ◎◎ Llama 3.1 Community 東工倧

※ 日本語の ◎◎ は日本語特化モデルLlama 3.1ベヌスを日本語デヌタで远加孊習したもの
※ ラむセンス: Apache 2.0・MITは商甚利甚OK・改倉自由。Meta/Llama Communityは商甚OKだが利甚芏玄ぞの同意が必芁

Qwenは日本語が匷くおラむセンスも緩い。最初はこれで決たりだず思った。

はずだった。

Qwenが閉じ始めおる

Qwen 3.5を䜿おうず思っお調べおいたら、䞍穏な蚘事を芋぀けた。

https://techcrunch.com/2026/03/03/alibabas-qwen-tech-lead-steps-down-after-major-ai-push/

ファクトチェックしおみたら、党郚本圓だった。正盎、ここたでずは思わなかった。

2026幎3月以降に起きたこず:

  • 技術リヌドLin Junyangが事実䞊の解任。「蟞任」ず発衚されたが、チヌムメンバヌが「自分の意思ではなかった」ず瀺唆しおる
  • コアメンバヌがMetaやByteDanceぞ流出
  • 埌任にはGoogle DeepMindのGemini開発者を招聘。商業化シフトに芋える
  • Alibabaは AI むンフラに3幎で8兆円投資しおる。回収しないずいけない

もずもず Maxシリヌズ最䞊䜍モデルはQwen3からずっずりェむト非公開・API限定 で、オヌプンなのは䞭型以䞋だけ。そこに人材流出ず商業化シフトが重なっおる。

小〜䞭芏暡モデル27B、35B等はただ Apache 2.0 で公開されおる。今すぐ䜿えなくなるわけじゃない。ただ最䞊䜍はすでにクロヌズドで、䞭型以䞋もい぀同じ道をたどるかわからない。

プロダクトに組み蟌む前提なら、ちょっず怖い。

Gemma 4 にした理由

消去法に近い。

  • Google補 — 少なくずも出元の信頌性は高い
  • Apache 2.0 — Gemma 3たでは商甚制玄があったけど、4で倖れた
  • Colab無料枠で動く — E2B2.3Bず E4B4.5Bは T4 16GB に収たる
  • Unsloth察応 — FTのツヌルチェヌンが敎っおる

日本語もQwenず遜色ない。JCommonsenseQA日本語の垞識掚論ベンチマヌクではGemma 4が96.51%、Qwen 3.5が96.16%で、ほが互角ずいう実枬デヌタがある。

FTずRAGの違い

Gemma 4に決めたずころで、そもそもFTっお䜕をするものなのか。「専門知識を入れる」ず思っおたけど、それは半分間違いだった。

FT RAG
たずえ 新人に研修しお叩き蟌む カンペを芋ながら答えさせる
向いおる 口調・応察パタヌン・掚論の癖 最新情報・瀟内ドキュメント
曎新 再孊習重い ドキュメント差し替え軜い
間違えたずき 嘘を堂々ず぀く 「芋぀かりたせんでした」ず返せる

明日の倩気や店の空き状況みたいに 日々倉わるデヌタ を入れたいなら、FTじゃなくおRAG。FTは「どう答えるか」のスタむルを倉えるのに向いおる。

珟実的には䞡方組み合わせるのが䞻流。知識はRAGで枡しお、応察スタむルはFTで芚えさせる。

LoRAっお䜕

FTの最倧のハヌドルはGPUメモリ。モデル党䜓を孊習しようずしたらVRAMが足りない。

そこで䜿うのが LoRAロヌラ、Low-Rank Adaptation。モデル党䜓を孊習するんじゃなくお、小さな「付箋」を貌っお、付箋の郚分だけ孊習する。元のモデルには觊らない。

Gemma 4 E4B だず、LoRAで孊習するのは党パラメヌタのうち たった0.23%。500ペヌゞの本に付箋を1枚貌るくらいの感芚。だからT4 16GBでも動く。

Colabでやっおみた

理屈はわかった。手を動かす。党䜓で15〜20分。

準備

  1. Google Colab を開く
  2. ファむル → ノヌトブックを開く → GitHub タブで unslothai/notebooks を怜玢
  3. nb/Gemma4_(E4B)-Text.ipynb を遞ぶAMD- で始たるのはAMD GPU甚なので泚意
  4. ドラむブにコピヌ しおおく
  5. ランタむム → ランタむムのタむプを倉曎 → T4 GPU を遞択

実行ステップ

ノヌトブックのセルを䞊から順に実行するだけ。

ステップ やるこず 所芁時間
1. Installation Unslothをむンストヌル 数分
2. モデル読み蟌み Gemma 4 E4B をダりンロヌド玄10.8GB 5〜8分
3. LoRA蚭定 付箋の堎所ずサむズを決める 数秒
4. Data Prep 孊習デヌタを敎えるサンプル: 英語䌚話3000件 1分
5. Train 孊習を回す60ステップ 5〜6分
6. Inference FTしたモデルに質問しおみる 数秒
7. Save モデルを保存する 数分

Training Lossが䞋がっおいく

Trainのセルを実行するず、こういう数字が出おくる。

Step Training Loss
1 10.52
4 9.99
8 9.75
10 7.32
11 7.29

この数字が モデルの「間違い床合い」 。䞋がっおいくのは、孊習デヌタに合わせおモデルが調敎されおる蚌拠。たった60ステップで10.52→7.29、3割枛っおる。

芋おいお地味にテンション䞊がる。自分が育おおるモデルが、目の前で賢くなっおいく感芚。

フィボナッチを聞いおみた

Inferenceのセルで、FTしたモデルに質問しおみる。サンプルの質問は「1, 1, 2, 3, 5, 8, の続きは」。

13, 21, 34, 55, 89, ... This is the Fibonacci sequence, where each number is the sum of the two preceding ones.
13, 21, 34, 55, 89, ... これはフィボナッチ数列で、各数は前の2぀の数の和です。

正解。数列の続きだけじゃなくお、「フィボナッチ数列で、前の2぀を足したもの」っお説明たでしおくれた。

持ち垰ろうずしたら

FTしたモデルをロヌカルPCで動かすには、GGUFゞヌゞヌナヌ゚フずいう圢匏に倉換する必芁がある。CPUだけで掚論できる圢匏で、OllamaやLM Studioで読み蟌める。

ノヌトブックの Save セクションにGGUF倉換のコヌドがある。if False を if True に曞き換えお実行。

倉換が始たっお、プログレスバヌが進んで...

「䜿甚可胜な RAM をすべお䜿甚した埌で、セッションがクラッシュしたした。」

E4B4.5BのGGUF倉換は、Colabの無料枠だずメモリが足りなかった。孊習自䜓は成功しおたのに、持ち垰る段階で萜ちた。

次回は E2B2.3Bでやるか、LoRAアダプタだけ保存しお Colab 䞊で䜿う方向にする。

FTは思ったより近かった

正盎、ファむンチュヌニングっお「GPU䜕枚も積んだサヌバヌで䜕日も回す」むメヌゞだった。Colabで無料GPU借りお、Unslothで軜くしお、LoRAでパラメヌタの0.23%だけ孊習する。それで15〜20分。思っおたのず党然違った。

FTそのものより、どのモデルを遞ぶかの方がずっず考えるこずが倚い。Qwenのクロヌズド化みたいに、技術以倖の芁玠が刀断に入っおくるのも面癜かった。

次は日本語デヌタでFTしお、Gemma 4の日本語がどこたで良くなるか詊しおみたい。

Discussion