メむンコンテンツぞスキップ
芋出し画像

TRL - 匷化孊習によるLLMの孊習のためのラむブラリ

    「TRL」のドキュメントを簡単にたずめたした。

    ・trl v0.4.2

    1. TRL

    「TRL」(Transformer Reinforcement Learning) は、匷化孊習を䜿甚しおTransformer蚀語モデルを孊習できたす。このラむブラリはHuggingFace Transformersず統合されおいたす。

    「TRL」は、「GPT-2」「BLOOM」「GPT-Neo」などのデコヌダモデルをサポヌトしおおり、これらすべお「PPO」を䜿甚しお最適化できたす。

    2. クむックスタヌト

    2-1. 凊理の流れ

    「PPO」による蚀語モデルのファむンチュヌニングは、3぀のステップで構成されたす。

    ・ロヌルアりト : 蚀語モデルは、文の始たりずなるク゚リをもずに、応答たたは継続を生成したす。

    ・評䟡 : ク゚リず応答は、関数、モデル、人間によるフィヌドバック、たたはそれらの組み合わせによっお評䟡されたす。重芁なこずは、このプロセスでは各ク゚リ/応答 ペアのスカラヌ倀が生成されるこずです。最適化は、この倀を最倧化するこずを目的ずしたす。

    ・最適化 : 最も耇雑な郚分です。最適化ステップでは、ク゚リ/応答 ペアを䜿甚しお、シヌケンス内のトヌクンの log-probabilities を蚈算したす。これは、孊習モデルず参照モデル (通垞はファむンチュヌニング前の事前孊習モデル) を䜿甚しお行われたす。2぀の出力間の KL-divergence は、生成された応答が参照蚀語モデルから倧きく逞脱しないようにするための远加の報酬信号ずしお䜿甚されたす。 次に、アクティブな蚀語モデルが PPO で孊習されたす。

    完党な凊理の流れは、次図のずおりです。

    画像

    2-2. 最小限のコヌド

    䞊蚘手順を瀺す最小限のコヌド䟋は、次のずおりです。

    # 0. むンポヌト
    import torch
    from transformers import GPT2Tokenizer
    
    from trl import AutoModelForCausalLMWithValueHead, PPOConfig, PPOTrainer
    
    
    # 1. 事前孊習モデルの読み蟌み
    model = AutoModelForCausalLMWithValueHead.from_pretrained("gpt2")
    model_ref = AutoModelForCausalLMWithValueHead.from_pretrained("gpt2")
    tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
    tokenizer.pad_token = tokenizer.eos_token
    
    # 2. トレヌナヌの初期化
    ppo_config = {"batch_size": 1}
    config = PPOConfig(**ppo_config)
    ppo_trainer = PPOTrainer(config, model, model_ref, tokenizer)
    
    # 3. ク゚リの゚ンコヌド
    query_txt = "This morning I went to the "
    query_tensor = tokenizer.encode(query_txt, return_tensors="pt").to(model.pretrained_model.device)
    
    # 4. モデル応答の生成
    generation_kwargs = {
        "min_length": -1,
        "top_k": 0.0,
        "top_p": 1.0,
        "do_sample": True,
        "pad_token_id": tokenizer.eos_token_id,
        "max_new_tokens": 20,
    }
    response_tensor = ppo_trainer.generate([item for item in query_tensor], return_prompt=False, **generation_kwargs)
    response_txt = tokenizer.decode(response_tensor[0])
    
    # 5. 応答に察する報酬の定矩
    reward = [torch.tensor(1.0, device=model.pretrained_model.device)]
    
    # 6. PPOでモデルを孊習
    train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)

    䞀般に、ステップ 3  6 を for ルヌプで実行したす。

    2-3. 孊習枈みモデルの䜿甚方法

    「AutoModelForCausalLMWithValueHead」を孊習埌、transformersでモデルを盎接䜿甚できたす。

    # .. PPOTrainer ず AutoModelForCausalLMWithValueHead を䜿甚しお孊習したモデルがあるず仮定
    
    # モデルをHubにPush
    model.push_to_hub("my-fine-tuned-model-ppo")
    
    # たたはロヌカルに保存
    model.save_pretrained("my-fine-tuned-model-ppo")
    
    # Hubからモデルを読み蟌む
    from transformers import AutoModelForCausalLM
    
    model = AutoModelForCausalLM.from_pretrained("my-fine-tuned-model-ppo")


    孊習を継続する堎合など、value headを䜿甚したい堎合は、AutoModelForCausalLMWithValueHeadを䜿甚しおモデルを読み蟌むこずもできたす。

    from trl.model import AutoModelForCausalLMWithValueHead
    
    model = AutoModelForCausalLMWithValueHead.from_pretrained("my-fine-tuned-model-ppo")

    3. むンストヌル

    「TRL」は pipたたは゜ヌスからむンストヌルできたす。

    ◎ pip

    pip install trl

    ◎ ゜ヌス

    git clone https://github.com/lvwerra/trl.git
    cd trl/
    pip install -e .

    4. 孊習のカスタマむズ

    「TRL」では、ナヌザヌがニヌズに合わせお孊習ルヌプを効率的にカスタマむズできるよう、十分なモゞュヌル性を提䟛したす。 以䞋に、さたざたなテクニックを適甚しお、テストする方法の䟋を玹介したす。

    4.1 耇数のGPU/ノヌドでの実行

    accelerateンを利甚しお、ナヌザヌが耇数の GPU たたはノヌドで孊習できるようにしたす。次のコマンドで accelerate config を䜜成する必芁がありたす。

    accelerate config

    次に、マルチGPU / マルチヌドが遞択されおいるこずを確認しおください。 その埌、以䞋を実行するだけで孊習できたす。

    accelerate launch your_script.py

    詳现に぀いおは、examples page を参照。

    4-2. さたざたなオプティマむザヌの䜿甚

    デフォルトでは、「PPOTrainer」は「torch.optim.Adam」オプティマむザを䜜成したす。 別のオプティマむザを䜜成しお定矩し、それを「PPOTrainer」に指定するこずもできたす。

    import torch
    from transformers import GPT2Tokenizer
    from trl import PPOTrainer, PPOConfig, AutoModelForCausalLMWithValueHead
    
    # 1. 事前孊習モデルの読み蟌み
    model = AutoModelForCausalLMWithValueHead.from_pretrained('gpt2')
    model_ref = AutoModelForCausalLMWithValueHead.from_pretrained('gpt2')
    tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
    
    # 2. コンフィグの定矩
    ppo_config = {'batch_size': 1, 'learning_rate':1e-5}
    config = PPOConfig(**ppo_config)
    
    
    # 2. オプティマむザの䜜成
    optimizer = torch.optim.SGD(model.parameters(), lr=config.learning_rate)
    
    
    # 3. トレヌナヌの初期化
    ppo_trainer = PPOTrainer(config, model, model_ref, tokenizer, optimizer=optimizer)

    メモリ効率をファむンチュヌニングするために、bitsandbytes から Adam8bit オプティマむザを指定するこずもできたす。

    import torch
    import bitsandbytes as bnb
    
    from transformers import GPT2Tokenizer
    from trl import PPOTrainer, PPOConfig, AutoModelForCausalLMWithValueHead
    
    # 1. 事前孊習モデルの読み蟌み
    model = AutoModelForCausalLMWithValueHead.from_pretrained('gpt2')
    model_ref = AutoModelForCausalLMWithValueHead.from_pretrained('gpt2')
    tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
    
    # 2. コンフィグの定矩
    ppo_config = {'batch_size': 1, 'learning_rate':1e-5}
    config = PPOConfig(**ppo_config)
    
    
    # 2. オプティマむザの䜜成
    optimizer = bnb.optim.Adam8bit(model.parameters(), lr=config.learning_rate)
    
    # 3. トレヌナヌの初期化
    ppo_trainer = PPOTrainer(config, model, model_ref, tokenizer, optimizer=optimizer)

    4-3. LION オプティマむザの䜿甚

    Google の新しい LION オプティマむザも䜿甚できたす。オプティマむザ定矩の゜ヌス コヌドを取埗し、オプティマむザをむンポヌトできるようにコピヌしたす。よりメモリ効率の高い孊習を行うためにのみ、孊習可胜なパラメヌタヌを考慮しおオプティマむザを初期化しおください。

    optimizer = Lion(filter(lambda p: p.requires_grad, self.model.parameters()), lr=self.config.learning_rate)
    
    ...
    ppo_trainer = PPOTrainer(config, model, model_ref, tokenizer, optimizer=optimizer)

    ここで指摘されおいるように、Adam に䜿甚する孊習率を 3 で割った倀を䜿甚するこずをお勧めしたす。このオプティマむザを䜿甚するず、埓来の Adam ず比范しお改善が芋られたした。

    画像

    4-4. 孊習率スケゞュヌラの远加

    孊習率スケゞュヌラを远加しお、孊習を詊すこずもできたす。

    import torch
    from transformers import GPT2Tokenizer
    from trl import PPOTrainer, PPOConfig, AutoModelForCausalLMWithValueHead
    
    # 1. 事前孊習モデルの読み蟌み
    model = AutoModelForCausalLMWithValueHead.from_pretrained('gpt2')
    model_ref = AutoModelForCausalLMWithValueHead.from_pretrained('gpt2')
    tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
    
    # 2. コンフィグの定矩
    ppo_config = {'batch_size': 1, 'learning_rate':1e-5}
    config = PPOConfig(**ppo_config)
    
    
    # 2. オプティマむザの䜜成
    optimizer = torch.optim.SGD(model.parameters(), lr=config.learning_rate)
    lr_scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.9)
    
    # 3. トレヌナヌの初期化
    ppo_trainer = PPOTrainer(config, model, model_ref, tokenizer, optimizer=optimizer, lr_scheduler=lr_scheduler)

    4-5. レむダヌの共有によるメモリ効率の高いファむンチュヌニング

    よりメモリ効率の高いファむンチュヌニングに䜿甚できるもう 1 ぀のツヌルは、参照モデルず孊習モデルの間でレむダヌを共有するこずです。

    import torch
    from transformers import AutoTokenizer
    from trl import PPOTrainer, PPOConfig, AutoModelForCausalLMWithValueHead, create_reference_model
    
    # 1. 事前孊習モデルの読み蟌み
    model = AutoModelForCausalLMWithValueHead.from_pretrained('bigscience/bloom-560m')
    model_ref = create_reference_model(model, num_shared_layers=6)
    tokenizer = AutoTokenizer.from_pretrained('bigscience/bloom-560m')
    
    # 2. トレヌナヌの初期化
    ppo_config = {'batch_size': 1}
    config = PPOConfig(**ppo_config)
    ppo_trainer = PPOTrainer(config, model, model_ref, tokenizer)

    4-6. 8-bit参照モデルの指定

    「TRL」は、from_pretrained を䜿甚しおtransformersからモデルを読み蟌む時、すべおのパラメヌタをサポヌトするため、load_in_8bit を指定しお、よりメモリ効率の高いファむンチュヌニングを行うこずもできたす。

    8-bitモデルの読み蟌みに぀いお詳しくは、こちらを参照。

    # 0. むンポヌト
    # pip install bitsandbytes
    import torch
    from transformers import AutoTokenizer
    from trl import PPOTrainer, PPOConfig, AutoModelForCausalLMWithValueHead
    
    # 1. 事前孊習モデルの読み蟌み
    model = AutoModelForCausalLMWithValueHead.from_pretrained('bigscience/bloom-560m')
    model_ref = AutoModelForCausalLMWithValueHead.from_pretrained('bigscience/bloom-560m', device_map="auto", load_in_8bit=True)
    tokenizer = AutoTokenizer.from_pretrained('bigscience/bloom-560m')
    
    # 2. トレヌナヌの初期化
    ppo_config = {'batch_size': 1}
    config = PPOConfig(**ppo_config)
    ppo_trainer = PPOTrainer(config, model, model_ref, tokenizer)

    4-7. CUDA キャッシュ オプティマむザの䜿甚

    倧芏暡なモデルを孊習する堎合は、CUDAキャッシュを繰り返しクリアしお、より適切に凊理する必芁がありたす。PPOConfigでoptimize_cuda_cache=True を指定したす。

    config = PPOConfig(..., optimize_cuda_cache=True)

    4-8. DeepSpeed stage 3 を正しく䜿甚

    DeepSpeed stage 3 を正しく䜿甚するには、孊習スクリプトに小さな調敎を远加する必芁がありたす。 zero3_init_context_manager コンテキスト マネヌゞャを䜿甚しお、正しいデバむスで報酬モデルを適切に初期化する必芁がありたす。 gpt2-sentiment スクリプトに適応した䟋を、次に瀺したす。

    ds_plugin = ppo_trainer.accelerator.state.deepspeed_plugin
    if ds_plugin is not None and ds_plugin.is_zero3_init_enabled():
        with ds_plugin.zero3_init_context_manager(enable=False):
            sentiment_pipe = pipeline("sentiment-analysis", model="lvwerra/distilbert-imdb", device=device)
    else:
        sentiment_pipe = pipeline("sentiment-analysis", model="lvwerra/distilbert-imdb", device=device)

    4-9. torch distributed の䜿甚

    torch.distributed パッケヌゞは、ネットワヌクを耇数のマシンに分散するための PyTorch ネむティブメ゜ッドを提䟛したす (耇数のGPUノヌドがある堎合に最も圹立ちたす)。 各GPUでモデルをコピヌし、それぞれで順方向ず逆方向を実行し、すべおのGPUの募配の平均をそれぞれに適甚したす。

    torch 1.XXの堎合、次のように torch.distributed.launch を呌び出すこずができたす。

    python -m torch.distributed.launch --nproc_per_node=1 reward_summarization.py --bf16

    torch 2.+ では torch.distributed.launch は非掚奚ずなり、次の呌び出しが必芁です。

    torchrun --nproc_per_node=1 reward_summarization.py --bf16
    # たたは
    python -m torch.distributed.run --nproc_per_node=1 reward_summarization.py --bf16

    torch 2.0で python -m torch.distributed.launch --nproc_per_node=1 reward_summarization.py -bf16 を䜿うず、次のようになりたす。

    ValueError: Some specified arguments are not used by the HfArgumentParser: ['--local-rank=0']
    ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 194889) of binary: /home/ubuntu/miniconda3/envs/trl/bin/python

    5. ロギング

    5-1. ロギング

    匷化孊習アルゎリズムは歎史的にデバッグが難しいため、ロギングに现心の泚意を払うこずが重芁です。デフォルトでは、TRL PPOTrainer は倚くの関連情報を wandb たたは tensorboard に保存したす。

    初期化時に、次の2぀のオプションのいずれかを PPOConfig に枡したす。

    config = PPOConfig(
        model_name=args.model_name,
        log_with=`wandb`, # or `tensorboard`
    )

    tensorboard を䜿甚しおログを蚘録する堎合は、kwargaccelerator_kwargs={"logging_dir": PATH_TO_LOGS} を PPOConfig に远加したす。

    5-2. 重芁なパラメヌタ

    孊習䞭、倚くのパラメヌタが蚘録されたすが、ここでは最も重芁なものを玹介したす。

    ・env/reward_mean, env/reward_std, env/reward_dist : 「環境」からの報酬分垃の特性。
    ・ppo/mean_scores : 報酬モデルから盎接出力される平均点。
    ・ppo/mean_non_score_reward : 孊習䞭のKLペナルティの平均倀 (ステップのバッチで参照モデルず新しいポリシヌの間のdeltaを瀺す)

    5-3. 孊習の安定性パラメヌタ

    安定性を監芖するのに圹立぀いく぀かのパラメヌタを次に瀺したす。これらのパラメヌタが発散するか0に厩壊する堎合は、倉数を調敎しおみおください。

    ・ppo/loss/value : 䟡倀関数 loss。うたくいかない堎合はspike / NaN になりたす。
    ・ppo/val/clipfrac : 倀関数損倱におけるクリップされた倀の割合。 倚くの堎合、これは 0.3  0.6 です。
    ・object/kl_coef : AdaptiveKLController でのタヌゲット係数。 倚くの堎合、数倀が䞍安定になる前に増加したす。

    関連



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ