メインコンテンツへスキップ
見出し画像
Photo byfresh_sedum5880

Qwenを自作データで教師ありファインチューニングしてみる

    最近のLLMフリー素材と言えばQwenシリーズがありますね。それと最近LLMのファインチューニングがちょいちょい注目されてます。
    正直、DGX-Sparkが欲しいところなんですが、バカ高くて買えたものではないので、我が家の32GのグラボのPCでどうにかこうにか動くかチャレンジしたい。

    やりたいこと

    https://qiita.com/_kawauso_/items/9bbfa5553334f2fb8d12
    Qiitaのこちらの記事を参考に、Qwen軽量版でLLMを作ってみる
    教師データはGeminiでやっつけで鉄道に関する質問・応答のデータセットを作ってみた。
    記事中だと10件であったが、これでまともなSFTができるわけがない。ということで200件と少ないデータではあるが、一旦検証できるだろうという件数で実施してみる。この適当教師データは好きに使ってください(笑)

    中身はこんなんです。

    {"instruction": "日本で最も標高が高い位置にあるJRの駅はどこですか?", "input": "", "output": "日本 一高い場所にあるJRの駅は、小海線の野辺山駅(標高1,345.67m)です。"}

    実際にやってみた

    transformers datasets trl peft などを使って、SFTを実行してみる

    import torch
    import transformers
    import peft
    import datasets
    from transformers import AutoTokenizer, AutoModelForCausalLM
    from trl import SFTTrainer
    
    # LLMモデルのロード
    MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
    
    # データセットのロード
    ds = datasets.load_from_disk("適宜変更してね")
    # トークナイザーのロード
    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, use_fast=True)
    
    # チャットテンプレート化
    def format_with_chat_template(example):
        messages = [
            {"role": "user", "content": example["input"]},
            {"role": "assistant", "content": example["output"]},
        ]
        # Qwenのフォーマット(<|im_start|>...<|im_end|>)に合わせてテキスト化
        text = tokenizer.apply_chat_template(
            messages, 
            tokenize=False, 
            add_generation_prompt=False
        )
        return {"text": text}
    
    ds_text = ds.map(format_with_chat_template, remove_columns=ds.column_names)
    
    model = AutoModelForCausalLM.from_pretrained(
        MODEL_ID, 
        device_map="auto", 
        torch_dtype=torch.float16, 
        low_cpu_mem_usage=True
    )
    
    # LoRA設定
    lora_config = peft.LoraConfig(
        r=8, 
        lora_alpha=16, 
        lora_dropout=0.05, 
        bias="none", 
        task_type="CAUSAL_LM", 
        target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
    )
    
    # 学習パラメータの設定
    args = transformers.TrainingArguments(
        output_dir="/sft_qwen25_05b",
        per_device_train_batch_size=4,
        gradient_accumulation_steps=4,
        learning_rate=1e-4,
        num_train_epochs=10,
        logging_steps=1,
        save_steps=10,
        save_total_limit=2,
        fp16=False, 
        bf16=True,
    )
    
    # SFTトレーナーの初期化と学習の実行
    trainer = SFTTrainer(
        model=model,
        train_dataset=ds_text,
        peft_config=lora_config,
        args=args,
    )
    
    trainer.train()
    
    # LoRAアダプタの保存
    adapter_dir = "適宜変更してね"
    trainer.model.save_pretrained(adapter_dir)
    tokenizer.save_pretrained(adapter_dir)

    何かこんな感じで黙々と学習が進む

    Step	Training Loss
      1	6.230735
      2	5.167732
      3	4.959866
      4	4.083956
      5	3.699440
      ・・・
      126	0.564972
      127	0.665392
      128	0.641205
      129	0.642734
      130	0.445445

    PEFTでtokenizerとモデルをロード

    from peft import PeftModel
    from transformers import AutoTokenizer, AutoModelForCausalLM
    import torch
    
    MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
    adpter_dir = "適宜変更してね"
    
    # トークナイザとベースモデルのロード
    tok = AutoTokenizer.from_pretrained(MODEL_ID, use_fast=True)
    base_model = AutoModelForCausalLM.from_pretrained(
        MODEL_ID, 
        device_map="auto", 
        torch_dtype=torch.float16, 
        low_cpu_mem_usage=True
    )
    
    # 学習したLoRAアダプタを適用
    model_sft = PeftModel.from_pretrained(base_model, adapter_dir)
    model_sft.eval()

    実際にチャットしてみる

    query = "ミュースカイについて教えてください"
    messages = [{"role": "user", "content": query}]
    prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    
    # 推論の実行
    # ※GPUメモリ上にある場合は入力テンソルもデバイスに合わせる
    inputs = tok(prompt, return_tensors="pt").to(model_sft.device)
    
    with torch.no_grad():
        out = model_sft.generate(
            **inputs,
            max_new_tokens=32,
            do_sample=False,
            temperature=0.0,
        )
    
    answer = tok.decode(out[0], skip_special_tokens=True)
    
    print(f"質問: {query}")
    print(f"回答:\n{answer}")

    こいつが出力結果

    You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
    user
    ミュースカイについて教えてください
    assistant
    ミュースカイ(MUSCLE)は、2013年7月に開業した新宿駅舎の地下鉄
    画像
    Geminiの藤原様

    失礼しました。私の心の中の藤原竜也が溢れてしまいました
    まぁ~、軽量モデルでたかだか200件のデータでどうにかしようとした私がバカだったようだ
    そうだ、もうちょっとまともなモデルを使おう

    もうちょっと頑張る

    というわけで、Qwen3.5-4Bを試してみようと思う
    https://huggingface.co/Qwen/Qwen3.5-4B
    ただ、このモデルをつかうということは、個人のPCのような気軽な環境、ましてやローカル環境なんかで動かす難易度がだいぶ増してしまって、結局DGX Sparkとか買わないとだよねという話になってしまう。
    今回は、こういった重めなモデルでもメモリ不足とならないような操作を入れてみて、それっぽいファインチューニングを検討するというお話し

    調べてみるとbitsandbytesを使うとメモリを節約できるらしい
    あとは色々と頑張ってみた。ざっくりまとめると以下の通り
    ①そのまま2.5からモデル名を変えても色々な事情があり動作しません
    ・事前トークナイズと動的パディング
    trlライブラリのバージョン変更や、テキスト長の不揃いによるテンソルエラーを完全に回避する
    ②QLoRA(4bit量子化)によるメモリ最適化
    ・Qwen3.5-4Bという40億パラメータのモデルを、限られたGPUメモリ(VRAM)に乗せるためにいろいろ頑張る必要がある
    ・BitsAndBytesConfig を用いて、モデルの重みを 4bit(NF4形式) に圧縮して読み込む
    ・Double Quantizationも有効化 Bfloat16 と Eager Attention attn_implementation="eager" を指定し、PyTorchの最適化アテンション(SDPA等)を使わず、標準的なアテンション計算を強制している Qwen3.5特有の「アテンションマスクの5次元テンソル化」によるクラッシュを回避。また、通常の float16 よりも表現できる数値の幅が広い bfloat16 を使う
    ③学習パラメータ
    ・エポック数を 5 に抑えて、lr_scheduler_type="cosine"(学習終盤にかけて学習率をなだらかに下げる設定)を採用
    ・実際これが正しいかは分からないが、一応奨励っぽい

    変更したコードは以下のような感じ

    import torch
    import transformers
    import peft
    import datasets
    from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForLanguageModeling, BitsAndBytesConfig
    from trl import SFTTrainer, SFTConfig
    
    MODEL_ID = "Qwen/Qwen3.5-4B"
    
    # データセットとトークナイザーのロード
    ds = datasets.load_from_disk("適宜変更してね")
    
    tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, use_fast=True)
    if tokenizer.pad_token_id is None:
        tokenizer.pad_token_id = tokenizer.eos_token_id
    
    # チャットテンプレート化とトークナイズ
    def tokenize_function(example):
        messages = [
            {"role": "user", "content": example["input"]},
            {"role": "assistant", "content": example["output"]},
        ]
        # まずQwenのフォーマットの文字列にする
        text = tokenizer.apply_chat_template(
            messages, 
            tokenize=False, 
            add_generation_prompt=False
        )
        # 文字列のまま返すのではなく、ここでトークンID化して長さを512に切り揃える(truncation=True)
        return tokenizer(text, truncation=True, max_length=512)
    
    # データセットの変換
    ds_tokenized = ds.map(tokenize_function, remove_columns=ds.column_names)
    
    # 4bit量子化とモデルロード
    bnb_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=torch.bfloat16
    )
    
    model = AutoModelForCausalLM.from_pretrained(
        MODEL_ID, 
        device_map="auto", 
        quantization_config=bnb_config,
        torch_dtype=torch.bfloat16, 
        low_cpu_mem_usage=True,
        attn_implementation="eager"  
    )
    
    # LoRA設定
    lora_config = peft.LoraConfig(
        r=16, 
        lora_alpha=32, 
        lora_dropout=0.05, 
        bias="none", 
        task_type="CAUSAL_LM", 
        target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
    )
    
    # 学習パラメータ
    args = SFTConfig(
        output_dir="適宜変更してね",
        per_device_train_batch_size=4,
        gradient_accumulation_steps=4,
        learning_rate=1e-4,
        num_train_epochs=5,
        lr_scheduler_type="cosine",
        logging_steps=1,
        save_steps=10,
        save_total_limit=2,
        fp16=False, 
        bf16=True,
    )

    この後学習させてみて、またチャットしてみる

    You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
    user
    ミュースカイについて教えてください
    assistant 
      「ミュースカイ」は、かつて日本航空(JAL)が運行していた国内線・国際線
    画像

    だめでしたw
    やっぱ200件じゃ無理かーーー

    まとめ

    軽量で動くLLM SFTを試してみた
    Qwen2.5, 3.5それぞれで動くSFTモデルを書いた
    正直FTする.jsonlファイルが薄っぺらすぎる点、それから学習パラメータもちょいちょい適当なので、この辺りをもっと突き詰めていかないといいLLM FTは出来ない模様・・・
    あとはjsonlの中身がだいぶ長文過ぎている気もする。もう少し簡潔な方が良いのかもしれない。後はクソみたいな文書・回答をいい感じに蒸留したりする検討も必要なのだろうか
    ひとまず構成のではないちょっとしたPC環境でもSFTできることが分かったので、それで良かったんじゃない?という雑なまとめ
    1年くらい前にLLMのFTが界隈で流行ってから、色々な人の取り組みを見るに知識後付けFTは結構しんどいって話を身をもって実感した今日この頃
    200件じゃLoRAにはてんで足らんということが分かったので、まぁそれでヨシといったところですかね(笑)
    Qwenが名鉄特急を知るのはまだまだ先のお話...

    余談ですが、なぜQiitaに書かないかって?こんな雑記を専門家たちに見られてたまるもんですかwwwなんてね

    あなたへのおすすめ