メインコンテンツへスキップ
見出し画像

【ローカルLLMの作り方②】サクッとLlamaを継続事前学習してみた

    こんにちは。IZAIエンジニアリングチームです。
    今回は、LLMの学習手法の一つである「継続事前学習(Continual Pre-traning)」について、ローカル環境のNVIDIA製GPUで手軽に実行する方法を解説します。

    継続事前学習ではなくfine-tuningについて知りたい方はこちらの記事をご覧管ください。

    今回は、LLMの継続事前学習(Continual Pre-training)について取り上げます。

    継続事前学習とは?


    大規模言語モデルは膨大な汎用データ(Webテキスト、書籍コーパスなど)で事前学習が行われます。しかしターゲットの領域が特殊なドメイン(例えば医学、法学、特定の専門領域)であったり、古いモデルを最新の知識にアップデートしたい場合などは、追加のデータで事前学習を“継続”することで、モデルがその新たなデータ分布や専門領域に適応しやすくなります。これを継続事前学習と呼びます。

    画像
    LLM学習手法一覧(筆者作成)。今回はContinual Pre-trainingで学習します

    Fine-tuningとの違い


    継続事前学習・・・
    主にモデルの知識を習得・アップデートするために行われます。既存モデルが習得している言語知識に加えて、新しいドメインの知識や最新の情報を取り込みたい場合などに用いられます。多くの場合、ラベル無しデータが使われます。Web上やドメイン固有の文章コーパスなど、大量の未ラベルデータをもとに学習を行います。

    fine-tuning・・・
    特定のタスクや目的(質問応答、感情分析、要約など)に合わせてモデルを最適化します。モデルが既に持っている言語知識を、特定タスクに応用できるよう微調整します。一般的に「ラベル付きデータ」や、タスク指示付きの文章データを用います。

    本ブログの内容


    今回はLlamaを継続事前学習する手順について解説します。検証環境は次の通りです。

    # 検証環境
    OS : WSL on Windows11
    CPU:Intel Core i9-13900K
    GPU : NVIDIA GeForce RTX 3090(VRAM24GB)
    Python バージョン:3.10.11

    使用したモデルはLlama3.2-3B、データセットはwikidumpからダウンロードします。wikidumpとは、wikipediaのデータをまとめてダウンロードできるようにしたアーカイブのことです。

    手順


    それではさっそく継続事前学習していきましょう。

    1. GPUとドライバのセットアップ

    次のページを参考にドライバのセットアップを行ってください。

    2. 仮想環境の用意

    本記事ではpyenv + virtualenvを用いて仮想環境を用意します。
    pythonのバージョンは3.10.11、仮想環境名はLlama_pre-train_envとして作成します。

    pyenv install 3.10.11
    pyenv local 3.10.11
    virtualenv Llama_pre-train_env

    次のコマンドで仮想環境を起動します。

    source Llama_pre-train_env/bin/activate

    3. ライブラリのインストール

    次のrequirements.txtを作成してください。

    mwparserfromhell==0.6.4
    wandb==0.15.2
    torch==2.0.1
    transformers==4.29.1
    datasets==2.11.0
    omegaconf==2.2.3
    safetensors==0.2.6

    作成したら、次のコマンドを実行することで学習実行に必要なライブラリを一括ダウンロードできます。

    pip install -r requirements.txt

    4. モデルライセンスの申請

    次のサイトにアクセスして、Llamaの使用申請を行ってください。

    1. Hugging faceにログイン(アカウントがなければ作成してください)

    2. 使用ライセンスの同意

    3. アクセストークンの発行

    詳しくは次のページを参考にしてください。

    5. データセットの用意

    今回はwikidumpという、wikipediaの文章をデータセットとして利用します。次のサイトからbz2圧縮ファイルを選択しダウンロードしてください。

    ダウンロードが完了したら、次のスクリプトを実行して学習データ用に整形しましょう。

    import os
    import bz2
    import json
    import re
    import xml.etree.ElementTree as ET
    import argparse
    
    import mwparserfromhell
    
    
    def parse_wiki_dump(bz2_path: str) -> list:
        entries = []
    
        events = ET.iterparse(bz2.open(bz2_path, "rt", encoding="utf-8"), events=("start", "end"))
        for event, elem in events:
            if event == "end" and elem.tag.endswith("page"):
                text = elem.findtext(".//{*}text")
                if text:
                    wikicode = mwparserfromhell.parse(text)
                    plain_text = wikicode.strip_code()
                    entries.append({"text": plain_text})
                elem.clear()
        return entries
    
    
    def remove_wiki_markup(text: str) -> str:
        lines = text.split("\n")
        cleaned_lines = []
        for line in lines:
            if ("アップロードしました" in line) or ("deleted" in line) or ("REDIRECT" in line):
                continue
            cleaned_lines.append(line)
        text = "\n".join(cleaned_lines)
    
        text = re.sub(r"\[\[.*?\]\]", "", text)
        text = re.sub(r"thumb\|.*?\|", "", text)
        text = re.sub(r"('{2,5})", "", text)
    
        text = re.sub(r"\(.*?\.jpg\)", "", text)
        text = re.sub(r"\(.*?\.png\)", "", text)
        text = re.sub(r"\(.*?\.gif\)", "", text)
        text = re.sub(r"\(.*?\.svg\)", "", text)
    
        text = re.sub(r"\s+\n", "\n", text)
        text = re.sub(r"\n\s+", "\n", text)
        text = re.sub(r"[ \t]+", " ", text)
        text = re.sub(r"\n{2,}", "\n", text)
    
        return text.strip()
    
    
    def convert_fullwidth_spaces_to_halfwidth(text: str) -> str:
        return text.replace(" ", " ")
    
    
    def split_text_by_period(text: str) -> list:
        segments = [seg.strip() for seg in text.split("。") if seg.strip()]
        return segments
    
    
    def main():
        parser = argparse.ArgumentParser(description="Wikipediaダンプを一括処理して最終的に句点単位で分割したJSONを出力するスクリプト")
        parser.add_argument("--bz2-dir", required=True, help="bz2形式のWikipediaダンプファイルが入っているフォルダのパス")
        parser.add_argument("--output", required=True, help="最終的に整形したデータを書き出す先の JSON ファイル名")
        args = parser.parse_args()
    
        bz2_dir_path = args.bz2_dir
        output_file = args.output
    
        #bz2フォルダ内のすべての bz2ファイルを処理してWikipedia本文を抽出 (mwparserfromhell.strip_code まで)
        all_data = []
        files = [f for f in os.listdir(bz2_dir_path) if f.endswith(".bz2")]
        files.sort()
        print(f"処理対象の bz2 ファイル数: {len(files)}")
    
        for i, fname in enumerate(files, start=1):
            bz2_path = os.path.join(bz2_dir_path, fname)
            print(f"[{i}/{len(files)}] Parsing {bz2_path} ...")
            extracted_entries = parse_wiki_dump(bz2_path)
            all_data.extend(extracted_entries)
            print(f"  -> {len(extracted_entries)} entries extracted (total: {len(all_data)})")
    
        print(f"合計 {len(all_data)} 件の記事を抽出しました。")
    
        #Wikiマークアップやログ行などの不要テキストを除去
        cleaned_data = []
        for item in all_data:
            original_text = item["text"]
            cleaned_text = remove_wiki_markup(original_text)
            if cleaned_text:
                cleaned_data.append({"text": cleaned_text})
        all_data = []  # メモリ節約のため破棄
        print(f"Wikiマークアップ除去後、{len(cleaned_data)} 件になりました。")
    
        #全角スペースを半角スペースに変換
        converted_data = []
        for item in cleaned_data:
            text = item["text"]
            text_halfwidth = convert_fullwidth_spaces_to_halfwidth(text)
            converted_data.append({"text": text_halfwidth})
        cleaned_data = []
        print("全角スペースを半角スペースに変換しました。")
    
        #句点 '。' で分割し、1文ごとに記録
        splitted_data = []
        for item in converted_data:
            text = item["text"]
            segments = split_text_by_period(text)
            for seg in segments:
                splitted_data.append({"text": seg})
        converted_data = []
        print(f"句点 '。' で分割後、合計 {len(splitted_data)} 文 になりました。")
    
        #JSON形式で出力
        with open(output_file, "w", encoding="utf-8") as f:
            json.dump(splitted_data, f, ensure_ascii=False, indent=2)
    
        print(f"すべての処理が完了しました。最終結果を {output_file} に保存しました。")
    
    
    if __name__ == "__main__":
        main()
    

    次のようなjsonファイルが作成出来たら成功です。

    画像
    整形後のデータセット

    6. wandbの準備

    まずはwandbのホームページから、アカウントを作成しましょう。wandbホームページのSIGN UPからアカウントを作成し、ログインをしてください。

    画像

    ログインできたら、継続事前学習用のプロジェクトを作成します。Profileページからプロジェクトを作成しましょう。

    画像

    wandbのユーザ名とプロジェクト名は学習実行時に使用するのでメモしておきましょう。

    7. 学習スクリプトの作成

    train.pyという名前で学習スクリプトを作成します。

    import os
    import argparse
    import torch
    from datasets import load_dataset
    from transformers import (
        AutoModelForCausalLM,
        AutoTokenizer,
        Trainer,
        TrainingArguments,
        PreTrainedTokenizerBase,
    )
    from omegaconf import OmegaConf
    
    import wandb 
    
    def preprocess_function(
        examples, tokenizer: PreTrainedTokenizerBase, max_length: int
    ):
        inputs = tokenizer(
            examples["text"], 
            truncation=True, 
            padding="max_length", 
            max_length=max_length
        )
        inputs["labels"] = inputs["input_ids"].copy()
        return inputs
    
    def main():
        parser = argparse.ArgumentParser()
        parser.add_argument(
            "--train_config", "-p",
            type=str,
            default="./train_config.yaml",
            help="学習設定を定義した YAML ファイルのパス"
        )
    
        parser.add_argument(
            "--wandb_user",
            type=str,
            default=None,
            help="Weights & Biases で使うユーザ名 (entity)"
        )
        parser.add_argument(
            "--wandb_project",
            type=str,
            default=None,
            help="Weights & Biases で使うプロジェクト名"
        )
        args = parser.parse_args()
    
    
        config = OmegaConf.load(args.train_config)
    
        # モデルとトークナイザの読み込み
        model_name = config.model.model
        tokenizer_name = config.model.tokenizer
        model = AutoModelForCausalLM.from_pretrained(
            model_name,
            torch_dtype=torch.bfloat16,        
            use_cache=config.model.use_cache,
            use_safetensors=True             
        )
        tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)
        
        if tokenizer.pad_token_id is None:
            tokenizer.pad_token = tokenizer.eos_token
    
        # データセットの読み込み
        dataset = load_dataset(
            "json",
            data_files=config.dataset.path,
            split=config.dataset.split
        )
        
        dataset = dataset.select(range(min(len(dataset), 25000)))
    
        dataset = dataset.map(
            lambda ex: preprocess_function(ex, tokenizer, config.model.max_length),
            batched=True,
            remove_columns=dataset.column_names
        )
    
        dataset = dataset.train_test_split(test_size=0.2)
        train_dataset = dataset["train"]
        eval_dataset = dataset["test"]
    
        training_args = TrainingArguments(**config.train)
    
        if args.wandb_user and args.wandb_project:
            training_args.report_to = ["wandb"]
    
            os.environ["WANDB_ENTITY"] = args.wandb_user
            os.environ["WANDB_PROJECT"] = args.wandb_project
    
            wandb.init(
                entity=args.wandb_user,
                project=args.wandb_project,
            )
        else:
            training_args.report_to = "none"
    
        trainer = Trainer(
            model=model,
            tokenizer=tokenizer,
            train_dataset=train_dataset,
            eval_dataset=eval_dataset,
            args=training_args,
        )
    
        trainer.train()
    
        trainer.save_model(training_args.output_dir)
        print(f"Model saved to: {training_args.output_dir}")
    
    if __name__ == "__main__":
        main()
    

    8. configファイルの作成

    train_config.yamlというファイルを作成し、そこに学習に関する設定やパラメータを指定します。データセットやoutputのディレクトリのパスはご自身の環境に合わせて変更してください。

    model:
      model: "meta-llama/Llama-3.2-3B"          
      tokenizer: "meta-llama/Llama-3.2-3B"      
      use_cache: true
      max_length: 128
    
    dataset:
      path: (データセットjsonファイルのパス)   
      split: "train"         # load_datasetで利用するsplit名
    
    train:
      output_dir: (結果の出力先パス)
      num_train_epochs: 3
      per_device_train_batch_size: 2
      per_device_eval_batch_size: 2
      gradient_accumulation_steps: 1
      learning_rate: 5e-5
      evaluation_strategy: "steps"
      save_strategy: "steps"
      save_steps: 2000
      logging_steps: 25

    ・tokenizer
    使用するトークナイザを指定します。日本語や英語でトークナイザが異なります。モデルに合わせてこの箇所を変更してください。

    ・num_train_epochs
    学習エポック数です。

    ・per_device_train_batch_size / per_device_eval_batch_size
    1つのGPUあたりのバッチサイズです。今回はGPU1枚あたり2サンプルを割り当てます。

    ・gradient_accumlation_step
    勾配の累積ステップ数です。バッチサイズを仮想的に大きくするために、複数ステップ分の勾配を蓄積してから1回の最適化を行い、その蓄積数を指定します。

    ・learning_rate
    学習率です。

    9. 実行

    次のコマンドで実行します。

     python train.py --wandb_user=izumi-kyota-izai --wandb_project=llama_finetune

    今回はwandbで学習過程を確認できるようにしています。順調にvalidation lossが下がっていることが分かります。

    画像
    学習過程

    Pre-trainスクリプトの説明


    データセットの整形関数

    def preprocess_function(
        examples, tokenizer: PreTrainedTokenizerBase, max_length: int
    ):
        inputs = tokenizer(
            examples["text"], 
            truncation=True, 
            padding="max_length", 
            max_length=max_length
        )
        inputs["labels"] = inputs["input_ids"].copy()
        return inputs

    用意されたデータセットをトークナイズし、自己回帰言語モデルで学習できる形に整形する関数です。自己回帰言語モデルの学習では次トークン予測を行うために入力(input_ids)と同じトークン列をラベル(labels)として持たせます。このデータセットをHuggingface trainerに渡すことで、モデルは位置tのトークンを入力とし、位置t + 1の単語を予測する自己回帰タスクを学習できます。

    モデルとトークナイザの読み込み

    # モデルとトークナイザの読み込み
    model_name = config.model.model
    tokenizer_name = config.model.tokenizer
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        torch_dtype=torch.bfloat16,        
        use_cache=config.model.use_cache,
        use_safetensors=True             
    )
    tokenizer = AutoTokenizer.from_pretrained(tokenizer_name)
        
    if tokenizer.pad_token_id is None:
        tokenizer.pad_token = tokenizer.eos_token

    configで指定したモデルとトークナイザを読み込みます。
    Llama系のモデルはパディング用のPADトークンが未定義のため、推論終了を示すEOSトークンをPADトークンとして使用します。

    データセットの読み込み

    # データセットの読み込み
    dataset = load_dataset(
        "json",
        data_files=config.dataset.path,
        split=config.dataset.split
    )
        
    dataset = dataset.select(range(min(len(dataset), 25000)))
    
    dataset = dataset.map(
        lambda ex: preprocess_function(ex, tokenizer, config.model.max_length),
        batched=True,
        remove_columns=dataset.column_names
    )
    
    dataset = dataset.train_test_split(test_size=0.2)
    train_dataset = dataset["train"]
    eval_dataset = dataset["test"]

    事前に用意したwikidumpのjson形式データセットを読み込み、前処理を行った後に訓練用と評価用に分割する処理です。今回はデモ用のためデータ数を25,000サンプル以下に制限して実行します。

    Trainerクラスによる学習の実行

    trainer = Trainer(
        model=model,
        tokenizer=tokenizer,
        train_dataset=train_dataset,
        eval_dataset=eval_dataset,
        args=training_args,
    )
    
    trainer.train()
    
    trainer.save_model(training_args.output_dir)
    print(f"Model saved to: {training_args.output_dir}")

    Trainerクラスを使ってモデルの学習と保存を行います。Trainerにモデルやデータセット、学習に関するconfigを渡した後、trainer.train()で学習が開始します。

    より賢いモデルを作るには?


    継続事前学習の影響をより効果的にするための工夫は次の2点があります。

    データセットの選定

    例えばwikidumpからダウンロードしたデータセットには、機械翻訳のエラーやWikiマークアップ、誤字などが含まれている場合があります。そういったノイズを取り除き品質の高いデータセットにクレンジングすることで学習効果を高めることができます。

    また、もし医学、法律、ITといった特定分野での性能向上を狙う場合は、その分野のテキストデータを重点的に取り込むことでドメイン知識を獲得できます。

    ハイパーパラメータの調整

    学習に関するパラメータをより適した値にすることで学習ロスや評価ロスをさらに小さくすることができます。例えば今回のmax_lengthは128であり、長いトークン列は途中で切り捨てられるため、長文を活かしきれない場合があります。GPUメモリに余裕があるならば、max_lengthを大きくしてみたり、長文を適切に分割することで長文テキストを扱えるようになります。

    他にも学習率の調整があります。学習率をさらに小さくしてみたり、イテレーションごとに学習率を変更する「学習率スケジューラ」を導入することも有効です。


    最後に


    株式会社IZAIでは音声認識や音声合成に関する研究開発・サービス開発を行っています。興味のあるエンジニア、学生、企業様などいらっしゃいましたらお気軽にお問い合わせください。

    参考になった方はいいね、コメントをいただけると今後の開発の励みになります。それではまた!



    参考ページ


    1. https://huggingface.co/meta-llama/Llama-3.2-3B

    2. https://dumps.wikimedia.org/jawiki/20250101/

    3. https://digitaldiy.jp/article/firstdiy/14661/

    4. https://gammasoft.jp/support/how-to-access-models-by-logged-into-hugging-face/

    5. https://wandb.ai/site

    6. https://zenn.dev/elith/articles/30c25fa0c6a0c1


    あなたへのおすすめ