
Qwenを自作データで教師ありファインチューニングしてみる
最近のLLMフリー素材と言えばQwenシリーズがありますね。それと最近LLMのファインチューニングがちょいちょい注目されてます。
正直、DGX-Sparkが欲しいところなんですが、バカ高くて買えたものではないので、我が家の32GのグラボのPCでどうにかこうにか動くかチャレンジしたい。
やりたいこと
https://qiita.com/_kawauso_/items/9bbfa5553334f2fb8d12
Qiitaのこちらの記事を参考に、Qwen軽量版でLLMを作ってみる
教師データはGeminiでやっつけで鉄道に関する質問・応答のデータセットを作ってみた。
記事中だと10件であったが、これでまともなSFTができるわけがない。ということで200件と少ないデータではあるが、一旦検証できるだろうという件数で実施してみる。この適当教師データは好きに使ってください(笑)
中身はこんなんです。
{"instruction": "日本で最も標高が高い位置にあるJRの駅はどこですか?", "input": "", "output": "日本 一高い場所にあるJRの駅は、小海線の野辺山駅(標高1,345.67m)です。"}実際にやってみた
transformers datasets trl peft などを使って、SFTを実行してみる
import torch
import transformers
import peft
import datasets
from transformers import AutoTokenizer, AutoModelForCausalLM
from trl import SFTTrainer
# LLMモデルのロード
MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
# データセットのロード
ds = datasets.load_from_disk("適宜変更してね")
# トークナイザーのロード
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, use_fast=True)
# チャットテンプレート化
def format_with_chat_template(example):
messages = [
{"role": "user", "content": example["input"]},
{"role": "assistant", "content": example["output"]},
]
# Qwenのフォーマット(<|im_start|>...<|im_end|>)に合わせてテキスト化
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=False
)
return {"text": text}
ds_text = ds.map(format_with_chat_template, remove_columns=ds.column_names)
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
device_map="auto",
torch_dtype=torch.float16,
low_cpu_mem_usage=True
)
# LoRA設定
lora_config = peft.LoraConfig(
r=8,
lora_alpha=16,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
)
# 学習パラメータの設定
args = transformers.TrainingArguments(
output_dir="/sft_qwen25_05b",
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
learning_rate=1e-4,
num_train_epochs=10,
logging_steps=1,
save_steps=10,
save_total_limit=2,
fp16=False,
bf16=True,
)
# SFTトレーナーの初期化と学習の実行
trainer = SFTTrainer(
model=model,
train_dataset=ds_text,
peft_config=lora_config,
args=args,
)
trainer.train()
# LoRAアダプタの保存
adapter_dir = "適宜変更してね"
trainer.model.save_pretrained(adapter_dir)
tokenizer.save_pretrained(adapter_dir)何かこんな感じで黙々と学習が進む
Step Training Loss
1 6.230735
2 5.167732
3 4.959866
4 4.083956
5 3.699440
・・・
126 0.564972
127 0.665392
128 0.641205
129 0.642734
130 0.445445PEFTでtokenizerとモデルをロード
from peft import PeftModel
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
adpter_dir = "適宜変更してね"
# トークナイザとベースモデルのロード
tok = AutoTokenizer.from_pretrained(MODEL_ID, use_fast=True)
base_model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
device_map="auto",
torch_dtype=torch.float16,
low_cpu_mem_usage=True
)
# 学習したLoRAアダプタを適用
model_sft = PeftModel.from_pretrained(base_model, adapter_dir)
model_sft.eval()実際にチャットしてみる
query = "ミュースカイについて教えてください"
messages = [{"role": "user", "content": query}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
# 推論の実行
# ※GPUメモリ上にある場合は入力テンソルもデバイスに合わせる
inputs = tok(prompt, return_tensors="pt").to(model_sft.device)
with torch.no_grad():
out = model_sft.generate(
**inputs,
max_new_tokens=32,
do_sample=False,
temperature=0.0,
)
answer = tok.decode(out[0], skip_special_tokens=True)
print(f"質問: {query}")
print(f"回答:\n{answer}")こいつが出力結果
You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
user
ミュースカイについて教えてください
assistant
ミュースカイ(MUSCLE)は、2013年7月に開業した新宿駅舎の地下鉄
失礼しました。私の心の中の藤原竜也が溢れてしまいました
まぁ~、軽量モデルでたかだか200件のデータでどうにかしようとした私がバカだったようだ
そうだ、もうちょっとまともなモデルを使おう
もうちょっと頑張る
というわけで、Qwen3.5-4Bを試してみようと思う
https://huggingface.co/Qwen/Qwen3.5-4B
ただ、このモデルをつかうということは、個人のPCのような気軽な環境、ましてやローカル環境なんかで動かす難易度がだいぶ増してしまって、結局DGX Sparkとか買わないとだよねという話になってしまう。
今回は、こういった重めなモデルでもメモリ不足とならないような操作を入れてみて、それっぽいファインチューニングを検討するというお話し
調べてみるとbitsandbytesを使うとメモリを節約できるらしい
あとは色々と頑張ってみた。ざっくりまとめると以下の通り
①そのまま2.5からモデル名を変えても色々な事情があり動作しません
・事前トークナイズと動的パディング
trlライブラリのバージョン変更や、テキスト長の不揃いによるテンソルエラーを完全に回避する
②QLoRA(4bit量子化)によるメモリ最適化
・Qwen3.5-4Bという40億パラメータのモデルを、限られたGPUメモリ(VRAM)に乗せるためにいろいろ頑張る必要がある
・BitsAndBytesConfig を用いて、モデルの重みを 4bit(NF4形式) に圧縮して読み込む
・Double Quantizationも有効化 Bfloat16 と Eager Attention attn_implementation="eager" を指定し、PyTorchの最適化アテンション(SDPA等)を使わず、標準的なアテンション計算を強制している Qwen3.5特有の「アテンションマスクの5次元テンソル化」によるクラッシュを回避。また、通常の float16 よりも表現できる数値の幅が広い bfloat16 を使う
③学習パラメータ
・エポック数を 5 に抑えて、lr_scheduler_type="cosine"(学習終盤にかけて学習率をなだらかに下げる設定)を採用
・実際これが正しいかは分からないが、一応奨励っぽい
変更したコードは以下のような感じ
import torch
import transformers
import peft
import datasets
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForLanguageModeling, BitsAndBytesConfig
from trl import SFTTrainer, SFTConfig
MODEL_ID = "Qwen/Qwen3.5-4B"
# データセットとトークナイザーのロード
ds = datasets.load_from_disk("適宜変更してね")
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, use_fast=True)
if tokenizer.pad_token_id is None:
tokenizer.pad_token_id = tokenizer.eos_token_id
# チャットテンプレート化とトークナイズ
def tokenize_function(example):
messages = [
{"role": "user", "content": example["input"]},
{"role": "assistant", "content": example["output"]},
]
# まずQwenのフォーマットの文字列にする
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=False
)
# 文字列のまま返すのではなく、ここでトークンID化して長さを512に切り揃える(truncation=True)
return tokenizer(text, truncation=True, max_length=512)
# データセットの変換
ds_tokenized = ds.map(tokenize_function, remove_columns=ds.column_names)
# 4bit量子化とモデルロード
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16
)
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
device_map="auto",
quantization_config=bnb_config,
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
attn_implementation="eager"
)
# LoRA設定
lora_config = peft.LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
)
# 学習パラメータ
args = SFTConfig(
output_dir="適宜変更してね",
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
learning_rate=1e-4,
num_train_epochs=5,
lr_scheduler_type="cosine",
logging_steps=1,
save_steps=10,
save_total_limit=2,
fp16=False,
bf16=True,
)この後学習させてみて、またチャットしてみる
You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
user
ミュースカイについて教えてください
assistant
「ミュースカイ」は、かつて日本航空(JAL)が運行していた国内線・国際線
だめでしたw
やっぱ200件じゃ無理かーーー
まとめ
軽量で動くLLM SFTを試してみた
Qwen2.5, 3.5それぞれで動くSFTモデルを書いた
正直FTする.jsonlファイルが薄っぺらすぎる点、それから学習パラメータもちょいちょい適当なので、この辺りをもっと突き詰めていかないといいLLM FTは出来ない模様・・・
あとはjsonlの中身がだいぶ長文過ぎている気もする。もう少し簡潔な方が良いのかもしれない。後はクソみたいな文書・回答をいい感じに蒸留したりする検討も必要なのだろうか
ひとまず構成のではないちょっとしたPC環境でもSFTできることが分かったので、それで良かったんじゃない?という雑なまとめ
1年くらい前にLLMのFTが界隈で流行ってから、色々な人の取り組みを見るに知識後付けFTは結構しんどいって話を身をもって実感した今日この頃
200件じゃLoRAにはてんで足らんということが分かったので、まぁそれでヨシといったところですかね(笑)
Qwenが名鉄特急を知るのはまだまだ先のお話...
余談ですが、なぜQiitaに書かないかって?こんな雑記を専門家たちに見られてたまるもんですかwwwなんてね