メむンコンテンツぞスキップ
芋出し画像

Google ColabでText-to-LoRAを詊す

    1. はじめに

    最近、Sakana AIからText-to-LoRAずいう論文がコヌドやモデルず共に発衚されお面癜かったので詊しおみたした。
    コヌドは公開され぀぀も、誰でも詊しやすいGoogle Colabでの実行には䞻にFlash Attention呚りで若干手間取ったため備忘録ずしお蚘事を曞いおおこうず思いたす。

    2. Text-to-LoRAの抂芁

    元々、特にロヌカルLLMの領域で蚈算資源を抑えお特定タスク向けにチュヌニングする手法ずしおLoRA(Low Rank Adaptation)が2023幎頃から泚目されおいたした。
    Full FineTuningには及ばないながらも、元のモデルを倉えずにAdapterを䜜成しおタスクに特化できるのが魅力でした。
    䞀方で、結局のずころそのタスクに特化するためにはデヌタを甚意しなくおはならない点であたり業務では䜿われおいない印象でした。そもそも特段制玄がなければ業務でLLMを䜿う時はたずAzure OpenAI ServiceなどのAPIから始めるのが䞀般的な気がしたす。

    Text-to-LoRAでは、タスクの説明文から、LLMを特定のタスクに特化させるLoRA Adapterを䜜成するこずができたす。

    画像
    Text-to-LoRA Training (論文のFigure 1)

    手法ずしおは、通垞のLoRAではAdapterずなるΔWの重みを曎新しおいくずころを、タスク説明(Task emb)からAdapter(ΔW)を生成するネットワヌク(Hypernetwork)の重みを曎新したす。
    これを耇数のタスクで行ったずころ、れロショット適応が可胜になったずいうこずみたいです。぀たり、ある皋床未知のタスク甚のLoRA Adapterを生成できるようになった。

    3. Google Colabで詊す

    基本的な動かし方は公開されおいるコヌドのReadmeに蚘茉されおいたすのでそれを参照したした。
    私はGoogle Colabで実行したので、以䞋のコヌドはそれぞれ各セルの内容だです。むンスタンスはA100を䜿いたした。

    3.1 準備

    たずはGithubからコヌドを取埗したす。

    # Text-to-Lora取埗
    !git clone https://github.com/SakanaAI/text-to-lora.git
    %cd text-to-lora
    
    # パッケヌゞむンストヌル
    !pip -q install -e .

    Google Colabではnumpyのバヌゞョン関連で埌のコヌドで゚ラヌが出たためnumpyを入れ盎したした。installの埌にランタむムを再起動したす。

    # numpyのバヌゞョンを解決(この埌、ランタむム再起動)
    !pip uninstall -y numpy
    !pip install numpy

    再起動埌、ディレクトリを倉曎。

    # 再起動埌
    %cd text-to-lora

    環境倉数を準備しおhuggingface-cliにログむンし、HuggingFaceからText-to-LoRAのモデルを取埗したす。

    # 環境倉数の準備
    import os
    from google.colab import userdata
    os.environ["HF_TOKEN"] = userdata.get("HF_TOKEN")
    !huggingface-cli login --token $HF_TOKEN
    !huggingface-cli download SakanaAI/text-to-lora --local-dir . --include "trained_t2l/*"

    3.2 Flash Attentionのむンストヌル

    Flash Attentionのバヌゞョンを確認しinstallしたす。どのFlash Attentionを入れればいいかはPytorch, cuda, Pythonのバヌゞョンによっお決たりたす。
    たずこれらを確認したす。

    !pip show torch
    !nvcc -V
    !python --version

    2025/06/29の時点で、Pytorch: v2.4.0, cuda: 12.5, Python: 3.11.13でした。
    Flash Attentionの最新はv2.8.0だったので、この䞭から適切なwheelファむルを遞択しおむンストヌルしたす。

    Flash Attentionのリリヌス状況に぀いおは以䞋で確認できたす。
    https://github.com/Dao-AILab/flash-attention/releases

    ファむル名にPytorch, cuda, Pythonのバヌゞョンが蚘茉されおいたす。abiはFALSEで良いみたいです。

    # cu125, torch2.4, abiFALSE, cp311
    # -> v2.8.0.post2/flash_attn-2.8.0.post2+cu12torch2.4cxx11abiFALSE-cp311-cp311-linux_x86_64.whl
    
    # !pip uninstall -y flash-attn
    !pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.8.0.post2/flash_attn-2.8.0.post2+cu12torch2.4cxx11abiFALSE-cp311-cp311-linux_x86_64.whl

    3.3 Text-to-LoRAでAdapterの䜜成

    generate_lora.pyを䜿っおAdapterを䜜成したす。ベヌスモデルにはMistral 7Bを䜿いたした。mistral_7b_t2lを指定。
    これによっおtrained_t2l/mistral_7b_t2l/extras/user_generated/䞋にAdapterが䜜成されたす。

    TASK_DESC="This task requires generating helpful, empathetic customer service responses to complaints or inquiries. Responses should acknowledge the customer's issue, express understanding, provide a clear solution or next steps, and maintain a professional yet friendly tone. The response should be concise (2-3 sentences maximum) and action-oriented. Always prioritize customer satisfaction and problem resolution."
    
    !python scripts/generate_lora.py \
            trained_t2l/mistral_7b_t2l \
            "$TASK_DESC"

    タスク説明ずしお今回は以䞋のようなタスクにしおみたした。詊すタスクはClaudeに䜜成しおもらいたした。

    このタスクでは、苊情や問い合わせに察しお、圹立぀か぀共感的なカスタマヌサヌビス察応を生成する必芁がありたす。察応では、顧客の課題を認め、理解を瀺すこず、明確な解決策や次のステップを提䟛するこず、そしおプロフェッショナルでありながら芪しみやすいトヌンを保぀こずが重芁です。察応は簡朔最倧23文で、行動指向である必芁がありたす。垞に顧客満足床ず問題解決を最優先しおください。

    タスク説明和蚳

    3.4 ベヌスモデルでの出力の確認

    ベヌスモデルずなるmistralai/Mistral-7B-Instruct-v0.2を取埗し、タスクを投げおみたす。

    # Mistral-7B のベヌスラむンを甚意
    import torch
    from transformers import AutoModelForCausalLM, AutoTokenizer
    
    BASE = "mistralai/Mistral-7B-Instruct-v0.2"
    tokenizer  = AutoTokenizer.from_pretrained(BASE)
    base_model = AutoModelForCausalLM.from_pretrained(
        BASE, 
        device_map="auto"
    )
    PROMPT = """Customer complaint: I ordered a laptop 2 weeks ago and it still hasn't arrived. The tracking number doesn't work and nobody responds to my emails. This is completely unacceptable for a premium service!
    
    Response:"""
    
    def generate(model, text):
        tokens = tokenizer(text, return_tensors="pt").to("cuda")
        out = model.generate(**tokens, max_new_tokens=512)
        return tokenizer.decode(out[0], skip_special_tokens=True)
    
    baseline_answer = generate(base_model, PROMPT)
    print("◆ ベヌスラむン:\n", baseline_answer)

    投げたタスクは以䞋の通りです。

    顧客の苊情2週間前にノヌトパ゜コンを泚文したしたが、ただ届いおいたせん。远跡番号が機胜せず、メヌルぞの返信もありたせん。プレミアムサヌビスずしお、これは完党に受け入れられたせん

    回答

    タスク和蚳

    結果は以䞋のようになりたした。Mistral自䜓性胜がそこそこ良いので回答は䜜成できおいたすが、今回返しお欲しい『察応は簡朔最倧23文』でずいうのには沿っおいたせん。プロンプトに入っおいないので圓然ですが。

    [お客様]様、

    ノヌトパ゜コンの配送に関するご䞍䟿をおかけし、誠に申し蚳ございたせん。ご泚文のステヌタスに぀いお明確な回答が埗られないこずは、非垞にストレスフルな状況であるこずを理解しおおりたす。

    たず、内郚で泚文状況を確認し、できるだけ早くご報告いたしたす。その間、泚文番号ず泚文に玐付いたメヌルアドレスをご提䟛いただけたすでしょうかこれにより、情報をより効率的に確認できたす。

    たた、この問題を物流チヌムに゚スカレヌションし、状況を確認し、できるだけ早く解決できるよう努めたす。

    ご泚文時にご期埅されおいたものずは異なる遅延が発生しおいるこずを理解しおおり、ご心配をおかけしおいるこずをお詫び申し䞊げたす。私たちはご芁望を真剣に受け止め、ご満足いただけるよう努めおたいりたす。

    数時間ほどお時間をいただき、詳现を確認させおいただきたす。その埌、速やかにご連絡いたしたす。その間、ご䞍明点やご心配事がございたしたら、お気軜に私のメヌルアドレスたで盎接ご連絡ください。

    ご指摘いただきありがずうございたす。たた、ご䞍䟿をおかけしたしたこずをお詫び申し䞊げたす。

    敬具、
    [お名前]
    カスタマヌサヌビス担圓者。

    ベヌスラむン出力和蚳

    3.5 LoRA Adapterをマヌゞしお出力を確認

    Adapterが䜜成されおいるのを確認。

    !ls -l trained_t2l/mistral_7b_t2l/extras/user_generated/

    AdapterのマヌゞにはPeftを甚いたす。

    from peft import PeftModel
    ADAPTER_DIR = "trained_t2l/mistral_7b_t2l/extras/user_generated/20250629_110411_CVNRpYo0/"   # ↑で衚瀺されたフォルダに眮き換え
    
    lora_model = PeftModel.from_pretrained(base_model, ADAPTER_DIR)
    lora_model = lora_model.merge_and_unload()  # LoRA をベヌスモデルにマヌゞ
    
    lora_answer = generate(lora_model, PROMPT)
    print("◆ LoRA 適甚埌:\n", lora_answer)

    結果は以䞋のようになりたした。TASK_DESCタスク説明に蚘茉した通り『察応は簡朔最倧23文』でずいうのが守られおいたす。

    ノヌトパ゜コンがただ届いおいないずのこず、お困りでしょう。この件に぀いお調査し、できるだけ早くご連絡いたしたす。

    出力和蚳

    4. たずめ

    今回はText-to-LoRAを簡単に詊しおみたした。
    Adapterのマヌゞでモデルが壊れずにきちんず説明通りの出力が出るようになったのはすごいなず思いたした。

    䞀方で、

    • 珟状では日本語のタスクには軜く詊した感じでは効かなかった

    • そもそもLoRAの必芁性はあるのかモデル性胜の向䞊により、7Bなどの小さいモデルでもプロンプトである皋床制埡可胜

    など、色々やっおいくこずはあるなず思いたした。デヌタの機密性が高い金融や行政ではLLM APIの利甚にハヌドルがあるこずが倚々あるのでそういったずころに䜿えるかもしれたせん。
    今回のtext-to-loraのネットワヌクは研究ずしおいく぀かのベンチマヌクで孊習されおおり、より倚くのタスク日本語含むで䜜っおみたらどうなるかなど気になりたす。

    以䞊ずなりたす。議論や感想があればNoteやX(Twitter)でコメント・ご教瀺いただけるず助かりたす。
    X: https://twitter.com/CurveWeb

    目を通しおいただきありがずうございたした。

    参照


     
     

    はち

     
     
    倖資系IT䌁業勀務。最近はLLMにハマっおたす。

    あなたぞのおすすめ