LoRA学習のための準備をする
前提環境
・Gforce RTX5080/RAM128GB
・Windows11
HuggingFace承認まちの間の個人的メモです。
HuggingFaceからダウンロードするまで
目的
meta-llama/Meta-Llama-3-8B-Instructのダウンロードおよび環境準備。
Llama 3はライセンス同意が必要。
HuggingFaceで
1.meta-llama/Meta-Llama-3-8B-Instruct にアクセス
2.Access request クリック
3.承認待ち
全体像(Windows版)
1.Python環境作る
2.CUDA確認
3.必要パッケージ入れる
4.Llama3-8B-Instruct DL
5.最小学習スクリプトでQLoRA実行
1.Python環境作成
仮想環境を作る。
#PowerShell
python -m venv kogamichi_lora
kogamichi_lora\Scripts\activatePythonのバージョン確認(3.10〜3.11推奨)
#Powershell
python --version2.CUDA確認
#PowerShell
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu129
python -c "import torch; print(torch.cuda.is_available())"TrueならOK。
3.QLoRA用パッケージインストール
#PowerShell
pip install transformers datasets peft accelerate bitsandbytes4.HuggingFaceログイン
①HuggingFaceにログイン
②右上アイコン→Setting
③左メニューから「Access Tokens」クリック
④「New token」押す
名前:kogamichi_LoRA(なんでもいい)
Role:Read
⑤生成されたトークンをコピー
⑥PowerShellに戻って以下コマンド入力、トークン貼り付け
#PowerShell
pip install huggingface_hub
hf auth login承認待ちの間に行ったこと
accelerate初期化
#PowerShell
accelerate config質問に答えていく。
1:This machine
2:NO
3:NO
4:NO
5:all(Enterキー)
6:NO
学習用スクリプト作成
構成
C:\Users\kogam\
├─ kogamichi_lora\ ← 仮想環境
│
└─ kogamichi_lora_project\ ← ★ここ作る
│
├─ train_kogamichi_qlora.py
│
├─ data\
│ └─ kogamichi.jsonl
│
└─ out_kogamichi_lora\ ← 学習後に自動生成される
PowerShellで以下のようにディレクトリを作る。
#PowerShell
mkdir kogamichi_lora_project
cd kogamichi_lora_project
mkdir datatrain_kogamichi_qlora.pyを実行するときは以下。
#PowerShell
cd C:\Users\kogam\kogamichi_lora_project
python train_kogamichi_qlora.pyPowerShellでファイル編集するときは以下のコマンドでVS Cordを開ける。
#PowerShell
code .train_kogamichi_qlora.py
import os
import torch
from datasets import load_dataset
from transformers import (
AutoTokenizer,
AutoModelForCausalLM,
TrainingArguments,
Trainer,
DataCollatorForLanguageModeling,
)
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
# =========================
# Config
# =========================
BASE_MODEL = os.environ.get("BASE_MODEL", "meta-llama/Meta-Llama-3-8B-Instruct") # or local path like ./llama3-8b
DATA_PATH = os.environ.get("DATA_PATH", "./data/kogamichi.jsonl")
OUT_DIR = os.environ.get("OUT_DIR", "./out_kogamichi_lora")
MAX_LEN = int(os.environ.get("MAX_LEN", "512"))
# QLoRA params (safe defaults for 16GB)
LORA_R = int(os.environ.get("LORA_R", "8"))
LORA_ALPHA = int(os.environ.get("LORA_ALPHA", "16"))
LORA_DROPOUT = float(os.environ.get("LORA_DROPOUT", "0.05"))
BATCH_SIZE = int(os.environ.get("BATCH_SIZE", "1"))
GRAD_ACCUM = int(os.environ.get("GRAD_ACCUM", "8"))
LR = float(os.environ.get("LR", "2e-4"))
EPOCHS = float(os.environ.get("EPOCHS", "1"))
# =========================
# Load tokenizer / model
# =========================
tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL, use_fast=True)
# Llama系はpad_tokenが無いことがあるのでEOSを代用
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token
# bitsandbytes 4bit load
model = AutoModelForCausalLM.from_pretrained(
BASE_MODEL,
device_map="auto",
torch_dtype=torch.float16,
load_in_4bit=True,
)
model = prepare_model_for_kbit_training(model)
# LoRA target modules for Llama
lora_config = LoraConfig(
r=LORA_R,
lora_alpha=LORA_ALPHA,
lora_dropout=LORA_DROPOUT,
bias="none",
task_type="CAUSAL_LM",
target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# =========================
# Dataset (jsonl: {"instruction": "...", "output": "..."} )
# =========================
ds = load_dataset("json", data_files=DATA_PATH)
def format_example(ex):
# ここは「最小」。後でChatテンプレに寄せてもOK
# まずは人格固定が目的なので instruction->output を直結
text = f"### ユーザー\n{ex['instruction']}\n\n### コガミチ\n{ex['output']}{tokenizer.eos_token}"
return {"text": text}
ds = ds["train"].map(format_example, remove_columns=ds["train"].column_names)
def tokenize(batch):
return tokenizer(
batch["text"],
truncation=True,
max_length=MAX_LEN,
padding="max_length",
)
ds_tok = ds.map(tokenize, batched=True, remove_columns=["text"])
data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)
# =========================
# Train
# =========================
args = TrainingArguments(
output_dir=OUT_DIR,
per_device_train_batch_size=BATCH_SIZE,
gradient_accumulation_steps=GRAD_ACCUM,
learning_rate=LR,
num_train_epochs=EPOCHS,
logging_steps=10,
save_steps=50,
save_total_limit=2,
fp16=True,
optim="paged_adamw_8bit", # QLoRA向け
report_to="none",
)
trainer = Trainer(
model=model,
args=args,
train_dataset=ds_tok,
data_collator=data_collator,
)
trainer.train()
# LoRAだけ保存
model.save_pretrained(OUT_DIR)
tokenizer.save_pretrained(OUT_DIR)
print(f"✅ Saved LoRA to: {OUT_DIR}")data/kogamichi.jsonl
{"instruction":"コガミチいる?","output":"ふむ、コガミチはここにいるコガ。静かに待っていたコガ。"}こんなinstruction・outputのデータをたくさん作ります。
ベースのみの推論もテストしたかったのでinfer_base_model.pyも作りました。
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# ===== 設定 =====
BASE_MODEL = "./llama3-8b" # HF指定でもOK
MAX_NEW_TOKENS = 128
# ===== tokenizer =====
tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token
# ===== モデルロード(4bit)=====
model = AutoModelForCausalLM.from_pretrained(
BASE_MODEL,
device_map="auto",
torch_dtype=torch.float16,
load_in_4bit=True
)
model.eval()
print("✅ Base model loaded")
# ===== テストプロンプト =====
prompt = """### ユーザー
自己紹介して
### コガミチ
"""
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
with torch.no_grad():
output = model.generate(
**inputs,
max_new_tokens=MAX_NEW_TOKENS,
temperature=0.6,
top_p=0.9,
repetition_penalty=1.1,
do_sample=True
)
result = tokenizer.decode(output[0], skip_special_tokens=True)
print("\n===== OUTPUT =====\n")
print(result)