メインコンテンツへスキップ

HuggingFaceのモデルチューニングのツール

    2010年代後半までは正直、研究グループが公開するGitHubレポジトリからビルドなり環境構築して、公開モデルが足りなければチューニングして…ていうのが普通でした

    が、2022-2024年ごろから急速にHuggingFaceエコシステムの整備が進み (PaperswithCodeも統合され)、大半の業務や開発はHuggingFaceエコシステムに乗っかっておけばどうにかなるところまで来ています

    ではあるものの、Pytorch自体が良くできているというのもあって、チューニング用のコード・スクリプトを特に工夫するものではないのに自作をしてしまうケースは多いです (損失とかで細かい工夫をすることは今でも多いのでそれが悪いとはいえないまでも)

    そんな私を含む人々に向けて、HuggingFaceが提供するモデルチューニングツールの備忘録をまとめます

    Transformersとdiffusers

    そもそものところとして、HuggingfaceはTransformer系のモデルをTransformers, 拡散系のモデルをdiffusersとして公開しています

    TransformersはそれこそQwenやDeepseekといった大規模言語モデルから、SAMやDepthAnythingなどの画像系基盤モデルまで広くサポートしています

    研究グループの公開レポジトリとHuggingFaceエコシステムどちらを使うべき?

    2024年くらいまでであれば研究グループの公開レポジトリから使うのも合理的な選択でした。それまでも使いやすいように再実装してコードを公開してくださる猛者系のレポジトリはいろいろ整備も進んでいたのですが(OpenMMLab系とか)、ちょくちょくバグが紛れて混んでいたり、本家となんだか性能が劣る…みたいなケースも散見されたためです

    ですが、2024年後半以降は論文公開グループが直接HuggingFaceレポジトリにコミットするケースがかなり増えました
    2026年時点では上記のような心配はほぼ杞憂かな、と思います

    で、今となっては逆に研究グループの公開レポジトリの環境を構築する際の依存ライブラリやPythonバージョンが古すぎて環境を構築できない事例も見られるようになってきました
    研究系エンジニアはあまり気にしないのですが、古すぎるPythonはそれ自体がセキュリティリスクがあります。端的に言えば、「動けば何でもよい」ではないのです

    セキュリティも含めたバージョン管理を考えるとTransformersやDiffusersからモデルを呼び出す構成のほうが、個人の意見としてははるかに健全に思えます

    Transformers Trainer

    diffusersは若干サポートが緩いのですが、Transformersはチューニング用にTrainerなるclassが付随しており、これらを使うととても簡単にチューニングができます

    正直、pytorch自体がかなり良くできているので、自作でもそこまで苦しむことはあまりないのですが、チーム開発であればこうしたツールは積極活用するべきでしょう

    ちなみに使い方はこんな感じ。超簡単

    training_args = TrainingArguments(output_dir="./trained_results")
    trainer = Trainer(
        model=model,
        args=training_args,
        train_dataset=train_dataset, #torch .utils.data.Dataset 
        eval_dataset=eval_dataset,   #torch .utils.data.Dataset 
    )
    
    trainer.train()

    大体、Datasetをtorchに合わせて構成しておけば、ほぼTrainerクラスに投げるだけです

    PEFT

    PEFTはLoRAチューニングを行うためのライブラリです

    LoRA自体はCNNにも適用できますが、基本的にPEFTはTransformer以降のアーキテクチャをサポート対象に据えている感じがあります

    これも使い方は簡単で、Trainerと組み合わせて使います。ざっくり、こんな感じです

    from transformers import AutoModelForCausalLM
    
    model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B")
    
    from peft import get_peft_model
    peft_model = get_peft_model(model, peft_config)
    
    training_args = TrainingArguments(
        output_dir="your-name/meta-llama/my-llama3.2-adapter",
        learning_rate=1e-3,
        per_device_train_batch_size=32,
        per_device_eval_batch_size=32,
        num_train_epochs=2,
        weight_decay=0.01,
        eval_strategy="epoch",
        save_strategy="epoch",
        load_best_model_at_end=True,
    )
    trainer = Trainer(
        model=peft_model,
        args=training_args,
        train_dataset=tokenized_datasets["train"],
        eval_dataset=tokenized_datasets["test"],
        data_collator=data_collator,
        compute_metrics=compute_metrics,
    )
    
    trainer.train()

    HuggingFace TRL

    Transformers Reinforcement Learningの略でTRL。LLMやVLMのチューニングに使うツール群です

    TRLはPEFTはもちろんのこと、LLM特有のチューニング(SFTやPPO, DRPOなど)までをサポートしています

    from trl import SFTTrainer
    from datasets import load_dataset
    
    dataset = load_dataset("trl-lib/Capybara", split="train")
    
    trainer = SFTTrainer(
        model="Qwen/Qwen2.5-0.5B",
        train_dataset=dataset,
    )
    trainer.train()

    余談: なぜこのあたりの知識が大事なのか

    蛇足ですが、私はIPA資格はじめこのあたりの開発における常識的な知識は大事だと思っています

    理由は単純で、生成AIにプロンプトを書くときに「世間はどのように実装しているのか」の知識が非常に大事だと思っているからです

    仮にGPTやClaudeにplanningさせたとしても、もとのプロンプトが甘いと保守性の低い (それこそGPTやClaudeが保守する前提の) コードが生成されがちです

    想像以上の性能向上のスピードで、正直、複雑なAgent graphになるAgentでもGPTやClaudeは適切に実装をしてくれるのですが、人間から見て「…!?」というスクリプトをしばしば提示してきます

    それを考えるとADKなりLangGraphなりでラップさせるように書いたほうがほぼ確実に保守・可読性の高いコードが提示されます

    なので、この技術ブログシリーズも日々「いらなくね?」と自問自答しながらも「でも、ここら辺の知識がないとちゃんとした開発はバイブコーディング時代でもできないし…」と思い直しながら、頑張っている日々です

     
     
    資格エントリと使う・使った技術・論文についてのメモを投下しています

    あなたへのおすすめ