メインコンテンツへスキップ
見出し画像

Google Colab で OpenCALM-largeのLoRAを使わないファインチューニングを試す

    「Google Colab」で「OpenCALM-large」のLoRAを使わないファインチューニングを試したので、まとめました。

    【注意】Google Colab Pro/Pro+ の A100で動作確認しています。

    前回

    1. OpenCALM

    「OpenCALM」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。

    2. 学習

    「Google Colab」で「OpenCALM-large」のLoRAを使わないファインチューニングを行います。「あかね〜くデータセット」を使って、それっぽい文面の作成に挑戦します。

    学習手順は、次のとおりです。

    (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」で「A100」を選択。

    (2) Googleドライブのマウント。

    # Googleドライブのマウント
    from google.colab import drive
    drive.mount("/content/drive")

    (3) 作業フォルダへの移動。

    # 作業フォルダへの移動
    import os
    os.makedirs("/content/drive/My Drive/work", exist_ok=True)
    %cd "/content/drive/My Drive/work"

    (4) 作業フォルダに「あかね〜くデータセット」(dataset.txt)を配置。

    (5) 基本パラメータの準備。

    # 基本パラメータ
    model_name = "cyberagent/open-calm-large"
    dataset_name = "dataset.txt"
    output_dir = "./ft-calm-large"

    (6) パッケージのインストール。

    # パッケージのインストール
    !pip install transformers datasets accelerate bitsandbytes

    (7) トークナイザーとモデルの準備。

    from transformers import AutoTokenizer
    
    # トークナイザーとモデルの準備
    tokenizer = AutoTokenizer.from_pretrained(
        model_name
    )
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        device_map="auto",
    )

    (8) データセットの準備。
    今回は、「TextDataset」を使って、テキストファイル (dataset.txt) をデータセットとして読み込みます。

    from transformers import TextDataset
    
    # データセットの設定
    data = TextDataset(
        tokenizer = tokenizer,
        file_path = dataset_name,
        block_size = 128
    )

    (9) トレーナーの準備。

    import transformers
    
    # トレーナーの準備
    trainer = transformers.Trainer(
        model=model,
        train_dataset=data,
        args=transformers.TrainingArguments(
            num_train_epochs=3,  # エポック数
            learning_rate=3e-4,  # 学習率
            logging_steps=10,  # 10step毎にログ出力
            output_dir=output_dir,  # 出力ディレクトリ
            report_to="none",  # レポート先なし
            auto_find_batch_size=True  # バッチサイズ自動
        ),
        data_collator=transformers.DataCollatorForLanguageModeling(tokenizer, mlm=False),
    )

    (10) 学習の実行。
    3エポックの学習は13秒で終わりました。データセットのサンプルが少なすぎて (393個) 、すぐ過学習するので、これくらいにしてみました。

    # 学習の実行
    model.config.use_cache = False
    trainer.train()
    model.config.use_cache = True
    
    # トークナイザーとモデルの保存
    tokenizer.save_pretrained(output_dir)
    trainer.save_model()
    画像

    以下のファイルが出力フォルダに保存されます。

    ・training_args.bin (4KB)
    ・pytorch_model.bin (3.22GB)

    ・tokenizer_config.json
    ・special_tokens_map.json
    ・tokenizer.json

    3. 推論

    「Google Colab」でファインチューニングしたモデルの推論手順は、次のとおりです。

    (1) トークナイザーとモデルの準備。
    Googleドライブから3GBのモデルを読み込むため、HuggingFaceのモデル読み込むより時間かかります。

    import torch
    from transformers import AutoModelForCausalLM, AutoTokenizer
    
    # トークンナイザーとモデルの準備
    tokenizer = AutoTokenizer.from_pretrained(
        output_dir
    )
    model = AutoModelForCausalLM.from_pretrained(
        output_dir,
        device_map="auto",
    )
    
    # 評価モード
    model.eval()

    (2) テキスト生成関数の準備。

    # テキスト生成関数の定義
    def generate(prompt, maxTokens=128):
        # 推論
        input_ids = tokenizer(prompt, return_tensors="pt", truncation=True).input_ids.cuda()
        outputs = model.generate(
            input_ids=input_ids,
            max_new_tokens=maxTokens,
            do_sample=True,
            temperature=0.7,
            top_p=0.75,
            top_k=40,
            no_repeat_ngram_size=2,
        )
        outputs = outputs[0].tolist()
        print(tokenizer.decode(outputs))

    (3) 推論。
    過学習気味で、学習データにあったワード入れると、そのままでてきがちです。

    generate("こんにちは")
    こんにちは、お兄ちゃん。<|endoftext|>


    学習データにない話題をふると、オリジナル会話してくれました。

    generate("まどか☆マギカ")
    まどか☆マギカ2期も、もうすぐ終わり。あの時は、本当に辛かった。私もあそこで、挫折してる。だから今、私が声をあげても...私よりも先に高屋敷さんが倒れると思う。私、ちょっと考えすぎだね。<|endoftext|>


    generate("セガは")
    セガはもっと宣伝活動をしたほうが...(汗<|endoftext|>


    generate("ChatGPTは")
    ChatGPTは1倍、X倍返しだぞ!倍返しの鏨(はがね)でびゅーてぃ...♪(ダッシュ)<|endoftext|>



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ