
Google Colab で OpenCALM-largeのLoRAを使わないファインチューニングを試す
「Google Colab」で「OpenCALM-large」のLoRAを使わないファインチューニングを試したので、まとめました。
【注意】Google Colab Pro/Pro+ の A100で動作確認しています。
前回
1. OpenCALM
「OpenCALM」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。
2. 学習
「Google Colab」で「OpenCALM-large」のLoRAを使わないファインチューニングを行います。「あかね〜くデータセット」を使って、それっぽい文面の作成に挑戦します。
学習手順は、次のとおりです。
(1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」で「A100」を選択。
(2) Googleドライブのマウント。
# Googleドライブのマウント
from google.colab import drive
drive.mount("/content/drive")(3) 作業フォルダへの移動。
# 作業フォルダへの移動
import os
os.makedirs("/content/drive/My Drive/work", exist_ok=True)
%cd "/content/drive/My Drive/work"(4) 作業フォルダに「あかね〜くデータセット」(dataset.txt)を配置。
(5) 基本パラメータの準備。
# 基本パラメータ
model_name = "cyberagent/open-calm-large"
dataset_name = "dataset.txt"
output_dir = "./ft-calm-large"(6) パッケージのインストール。
# パッケージのインストール
!pip install transformers datasets accelerate bitsandbytes(7) トークナイザーとモデルの準備。
from transformers import AutoTokenizer
# トークナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
model_name
)
model = AutoModelForCausalLM.from_pretrained(
model_name,
device_map="auto",
)(8) データセットの準備。
今回は、「TextDataset」を使って、テキストファイル (dataset.txt) をデータセットとして読み込みます。
from transformers import TextDataset
# データセットの設定
data = TextDataset(
tokenizer = tokenizer,
file_path = dataset_name,
block_size = 128
)(9) トレーナーの準備。
import transformers
# トレーナーの準備
trainer = transformers.Trainer(
model=model,
train_dataset=data,
args=transformers.TrainingArguments(
num_train_epochs=3, # エポック数
learning_rate=3e-4, # 学習率
logging_steps=10, # 10step毎にログ出力
output_dir=output_dir, # 出力ディレクトリ
report_to="none", # レポート先なし
auto_find_batch_size=True # バッチサイズ自動
),
data_collator=transformers.DataCollatorForLanguageModeling(tokenizer, mlm=False),
)(10) 学習の実行。
3エポックの学習は13秒で終わりました。データセットのサンプルが少なすぎて (393個) 、すぐ過学習するので、これくらいにしてみました。
# 学習の実行
model.config.use_cache = False
trainer.train()
model.config.use_cache = True
# トークナイザーとモデルの保存
tokenizer.save_pretrained(output_dir)
trainer.save_model()
以下のファイルが出力フォルダに保存されます。
・training_args.bin (4KB)
・pytorch_model.bin (3.22GB)
・tokenizer_config.json
・special_tokens_map.json
・tokenizer.json
3. 推論
「Google Colab」でファインチューニングしたモデルの推論手順は、次のとおりです。
(1) トークナイザーとモデルの準備。
Googleドライブから3GBのモデルを読み込むため、HuggingFaceのモデル読み込むより時間かかります。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
# トークンナイザーとモデルの準備
tokenizer = AutoTokenizer.from_pretrained(
output_dir
)
model = AutoModelForCausalLM.from_pretrained(
output_dir,
device_map="auto",
)
# 評価モード
model.eval()(2) テキスト生成関数の準備。
# テキスト生成関数の定義
def generate(prompt, maxTokens=128):
# 推論
input_ids = tokenizer(prompt, return_tensors="pt", truncation=True).input_ids.cuda()
outputs = model.generate(
input_ids=input_ids,
max_new_tokens=maxTokens,
do_sample=True,
temperature=0.7,
top_p=0.75,
top_k=40,
no_repeat_ngram_size=2,
)
outputs = outputs[0].tolist()
print(tokenizer.decode(outputs))(3) 推論。
過学習気味で、学習データにあったワード入れると、そのままでてきがちです。
generate("こんにちは")こんにちは、お兄ちゃん。<|endoftext|>
学習データにない話題をふると、オリジナル会話してくれました。
generate("まどか☆マギカ")まどか☆マギカ2期も、もうすぐ終わり。あの時は、本当に辛かった。私もあそこで、挫折してる。だから今、私が声をあげても...私よりも先に高屋敷さんが倒れると思う。私、ちょっと考えすぎだね。<|endoftext|>generate("セガは")セガはもっと宣伝活動をしたほうが...(汗<|endoftext|>generate("ChatGPTは")ChatGPTは1倍、X倍返しだぞ!倍返しの鏨(はがね)でびゅーてぃ...♪(ダッシュ)<|endoftext|>