メインコンテンツへスキップ

LoRA学習のための準備をする

    前提環境
    ・Gforce RTX5080/RAM128GB
    ・Windows11

    HuggingFace承認まちの間の個人的メモです。

    HuggingFaceからダウンロードするまで

    目的

    meta-llama/Meta-Llama-3-8B-Instructのダウンロードおよび環境準備。
    Llama 3はライセンス同意が必要。

    HuggingFaceで
    1.meta-llama/Meta-Llama-3-8B-Instruct にアクセス
    2.Access request クリック
    3.承認待ち

    全体像(Windows版)
    1.Python環境作る
    2.CUDA確認
    3.必要パッケージ入れる
    4.Llama3-8B-Instruct DL
    5.最小学習スクリプトでQLoRA実行

    1.Python環境作成

    仮想環境を作る。

     #PowerShell 
    
    python -m venv kogamichi_lora
    kogamichi_lora\Scripts\activate

    Pythonのバージョン確認(3.10〜3.11推奨)

     #Powershell 
    
    python --version

    2.CUDA確認

     #PowerShell 
    
    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu129
    python -c "import torch; print(torch.cuda.is_available())"

    TrueならOK。

    3.QLoRA用パッケージインストール

     #PowerShell 
    
    pip install transformers datasets peft accelerate bitsandbytes

    4.HuggingFaceログイン

    ①HuggingFaceにログイン

    ②右上アイコン→Setting
    ③左メニューから「Access Tokens」クリック
    ④「New token」押す
    名前:kogamichi_LoRA(なんでもいい)
    Role:Read
    ⑤生成されたトークンをコピー
    ⑥PowerShellに戻って以下コマンド入力、トークン貼り付け

     #PowerShell 
    
    pip install huggingface_hub
    hf auth login

    承認待ちの間に行ったこと

    accelerate初期化

     #PowerShell 
    
    accelerate config

    質問に答えていく。
    1:This machine
    2:NO
    3:NO
    4:NO
    5:all(Enterキー)
    6:NO

    学習用スクリプト作成

    構成

    C:\Users\kogam\
    ├─ kogamichi_lora\          ← 仮想環境
    │
    └─ kogamichi_lora_project\  ← ★ここ作る
        │
        ├─ train_kogamichi_qlora.py
        │
        ├─ data\
        │    └─ kogamichi.jsonl
        │
        └─ out_kogamichi_lora\   ← 学習後に自動生成される

    PowerShellで以下のようにディレクトリを作る。

     #PowerShell 
    
    mkdir kogamichi_lora_project
    cd kogamichi_lora_project
    mkdir data

    train_kogamichi_qlora.pyを実行するときは以下。

     #PowerShell 
    
    cd C:\Users\kogam\kogamichi_lora_project
    python train_kogamichi_qlora.py

    PowerShellでファイル編集するときは以下のコマンドでVS Cordを開ける。

     #PowerShell 
    
    code .

    train_kogamichi_qlora.py

    import os
    import torch
    from datasets import load_dataset
    from transformers import (
        AutoTokenizer,
        AutoModelForCausalLM,
        TrainingArguments,
        Trainer,
        DataCollatorForLanguageModeling,
    )
    from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
    
    # =========================
    # Config
    # =========================
    BASE_MODEL = os.environ.get("BASE_MODEL", "meta-llama/Meta-Llama-3-8B-Instruct")  # or local path like ./llama3-8b
    DATA_PATH  = os.environ.get("DATA_PATH",  "./data/kogamichi.jsonl")
    OUT_DIR    = os.environ.get("OUT_DIR",    "./out_kogamichi_lora")
    
    MAX_LEN = int(os.environ.get("MAX_LEN", "512"))
    
    # QLoRA params (safe defaults for 16GB)
    LORA_R = int(os.environ.get("LORA_R", "8"))
    LORA_ALPHA = int(os.environ.get("LORA_ALPHA", "16"))
    LORA_DROPOUT = float(os.environ.get("LORA_DROPOUT", "0.05"))
    
    BATCH_SIZE = int(os.environ.get("BATCH_SIZE", "1"))
    GRAD_ACCUM = int(os.environ.get("GRAD_ACCUM", "8"))
    LR = float(os.environ.get("LR", "2e-4"))
    EPOCHS = float(os.environ.get("EPOCHS", "1"))
    
    # =========================
    # Load tokenizer / model
    # =========================
    tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, use_fast=True)
    
    # Llama系はpad_tokenが無いことがあるのでEOSを代用
    if tokenizer.pad_token is None:
        tokenizer.pad_token = tokenizer.eos_token
    
    # bitsandbytes 4bit load
    model = AutoModelForCausalLM.from_pretrained(
        BASE_MODEL,
        device_map="auto",
        torch_dtype=torch.float16,
        load_in_4bit=True,
    )
    
    model = prepare_model_for_kbit_training(model)
    
    # LoRA target modules for Llama
    lora_config = LoraConfig(
        r=LORA_R,
        lora_alpha=LORA_ALPHA,
        lora_dropout=LORA_DROPOUT,
        bias="none",
        task_type="CAUSAL_LM",
        target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    )
    
    model = get_peft_model(model, lora_config)
    model.print_trainable_parameters()
    
    # =========================
    # Dataset (jsonl: {"instruction": "...", "output": "..."} )
    # =========================
    ds = load_dataset("json", data_files=DATA_PATH)
    
    def format_example(ex):
        # ここは「最小」。後でChatテンプレに寄せてもOK
        # まずは人格固定が目的なので instruction->output を直結
        text = f"### ユーザー\n{ex['instruction']}\n\n### コガミチ\n{ex['output']}{tokenizer.eos_token}"
        return {"text": text}
    
    ds = ds["train"].map(format_example, remove_columns=ds["train"].column_names)
    
    def tokenize(batch):
        return tokenizer(
            batch["text"],
            truncation=True,
            max_length=MAX_LEN,
            padding="max_length",
        )
    
    ds_tok = ds.map(tokenize, batched=True, remove_columns=["text"])
    
    data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)
    
    # =========================
    # Train
    # =========================
    args = TrainingArguments(
        output_dir=OUT_DIR,
        per_device_train_batch_size=BATCH_SIZE,
        gradient_accumulation_steps=GRAD_ACCUM,
        learning_rate=LR,
        num_train_epochs=EPOCHS,
        logging_steps=10,
        save_steps=50,
        save_total_limit=2,
        fp16=True,
        optim="paged_adamw_8bit",  # QLoRA向け
        report_to="none",
    )
    
    trainer = Trainer(
        model=model,
        args=args,
        train_dataset=ds_tok,
        data_collator=data_collator,
    )
    
    trainer.train()
    
    # LoRAだけ保存
    model.save_pretrained(OUT_DIR)
    tokenizer.save_pretrained(OUT_DIR)
    
    print(f"✅ Saved LoRA to: {OUT_DIR}")

    data/kogamichi.jsonl

    {"instruction":"コガミチいる?","output":"ふむ、コガミチはここにいるコガ。静かに待っていたコガ。"}

    こんなinstruction・outputのデータをたくさん作ります。

    ベースのみの推論もテストしたかったのでinfer_base_model.pyも作りました。

    import torch
    from transformers import AutoTokenizer, AutoModelForCausalLM
    
    # ===== 設定 =====
    BASE_MODEL = "./llama3-8b"  # HF指定でもOK
    MAX_NEW_TOKENS = 128
    
    # ===== tokenizer =====
    tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
    if tokenizer.pad_token is None:
        tokenizer.pad_token = tokenizer.eos_token
    
    # ===== モデルロード(4bit)=====
    model = AutoModelForCausalLM.from_pretrained(
        BASE_MODEL,
        device_map="auto",
        torch_dtype=torch.float16,
        load_in_4bit=True
    )
    
    model.eval()
    
    print("✅ Base model loaded")
    
    # ===== テストプロンプト =====
    prompt = """### ユーザー
    自己紹介して
    
    ### コガミチ
    """
    
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
    
    with torch.no_grad():
        output = model.generate(
            **inputs,
            max_new_tokens=MAX_NEW_TOKENS,
            temperature=0.6,
            top_p=0.9,
            repetition_penalty=1.1,
            do_sample=True
        )
    
    result = tokenizer.decode(output[0], skip_special_tokens=True)
    print("\n===== OUTPUT =====\n")
    print(result)
     
     
    こんにちは。AI大好きな猫型の生物です。 現在専門学生。現在日本画特化型AI「コガミチ」開発中。 趣味はカメラです。

    あなたへのおすすめ