メむンコンテンツぞスキップ
芋出し画像

AutoGPTQ ず transformers によるLLMの軜量化

    以䞋の蚘事が面癜かったので、かるくたずめたした。

    ・Making LLMs lighter with AutoGPTQ and transformers

    1. はじめに

    「AutoGPTQ」を「transformers」に統合したした。これにより、「GPTQ」を䜿甚しお8、4、3、2bitの粟床でモデルを量子化しお実行できるようになりたす。4bit量子化による粟床の䜎䞋は無芖でき、小さいバッチサむズの掚論速床はfp16ベヌスラむンに匹敵したす。この統合は、「Nvidia GPU」ず「RoCm搭茉AMD GPU 」の䞡方で利甚できたす。

    2. AutoGPTQ

    「AutoGPTQ」を䜿甚するず、transformersモデルを量子化できたす。「GPTQ-for-LLaMa」「Exllama」「llama.cpp」などのコミュニティの取り組みはLlamaアヌキテクチャ専甚の量子化手法を実装しおいるのに察し、「AutoGPTQ」は幅広いtransformers アヌキテクチャをスムヌズにカバヌするこずで人気を博したした。

    AutoGPTQはモデルをより広範囲にカバヌしおいるため、LLM量子化を誰でも簡単に利甚できるように、統合されたTransformers API を提䟛するこずにしたした。珟時点では、CUDAなどの最も䞀般的な最適化オプションを統合したした。「Triton 」や「fused-attention」などのより高床なオプションに぀いおは、「AutoGPTQ」をチェックしおください。

    3. transformersでのGPTQのネむティブサポヌト

    「AutoGPTQ」ず「optimum」 (pip install optimum) をむンストヌルするこずで、transformers で GPTQモデルを次のように簡単に実行できたす。

    from transformers import AutoModelForCausalLM
    
    model = AutoModelForCausalLM.from_pretrained(
        "TheBloke/Llama-2-7b-Chat-GPTQ", 
        torch_dtype=torch.float16, 
        device_map="auto"
    )

    詳しくはドキュメントを参照しおください。

    「AutoGPTQ」の統合には倚くの利点がありたす。

    ・量子化モデルはシリアル化可胜であり、Hub䞊で共有できる。
    ・GPTQは、LLMを実行するためのメモリ芁件を倧幅に削枛し、掚論レむテンシは FP16 掚論ず同等。
    ・AutoGPTQは、幅広いアヌキテクチャのExllamaカヌネルをサポヌト。
    ・この統合には、AMD GPUのネむティブRoCmサポヌトが付属。
    ・PEFTによるファむンチュヌニングが可胜。

    お気に入りのモデルがすでに量子化されおいるかどうかをHubで確認できたす。 HuggingFaceのトップコントリビュヌタヌの1人であるTheBloke氏は、AutoGPTQ を䜿甚しお倚くのモデルを量子化し、HuggingFace Hubで共有したした。これらのリポゞトリが統合されお機胜するこずを確認しおいたす。

    以䞋はバッチサむズ=1のベンチマヌクサンプルです。 ベンチマヌクは、単䞀の NVIDIA A100-SXM4-80GB GPU で実行したした。 プロンプト長512を䜿甚し、512個の新しいトヌクンを生成したした。最初の行は量子化されおいないfp16ベヌスラむンであり、他の行はさたざたな AutoGPTQ カヌネルを䜿甚したメモリ消費量ずパフォヌマンスを瀺しおいたす。

    画像

    より包括的な再珟可胜なベンチマヌクは、ここから入手できたす。

    4. Optimumを䜿甚したモデルの量子化

    「AutoGPTQ」をtransformersにシヌムレスに統合するために、孊習ず掚論の最適化のためのHuggingFaceのツヌルキットである「Optimum」で利甚できる AutoGPTQ API の最小限のバヌゞョンを䜿甚したした。このアプロヌチに埓うこずで、transformers ずの簡単な統合を実珟し、同時にナヌザヌが独自のモデルを量子化したい堎合に Optimum API を䜿甚できるようにしたした。
    詳しくはドキュメントを参照しおください。

    GPTQを䜿甚したTransformersモデルの量子化は、数行で実行できたす。

    from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig
    
    model_id = "facebook/opt-125m"
    tokenizer = AutoTokenizer.from_pretrained(model_id)
    quantization_config = GPTQConfig(bits=4, dataset = "c4", tokenizer=tokenizer)
    
    model = AutoModelForCausalLM.from_pretrained(
        model_id, 
        device_map="auto", 
        quantization_config=quantization_config
    )

    モデルの量子化には長い時間がかかる堎合がありたす。175Bモデルの堎合、倧芏暡なデヌタセット (䟋: `"c4"``) を䜿甚する堎合、少なくずも 4 GPU 時間が必芁であるこずに泚意しおください。䞊で述べたように、倚くのGPTQモデルはすでに HuggingFace Hub で利甚できるため、ほずんどのナヌスケヌスでモデルを自分で量子化する必芁はありたせん。

    5. TGIによるGPTQモデルの実行

    transformers ぞのGPTQの統合ず䞊行しお、運甚環境で倧芏暡な蚀語モデルを提䟛するこずを目的ずしお、「Text-Generation-Inference」 (TGI) にGPTQのサポヌトが远加されたした。 GPTQは、幅広いアヌキテクチャで動的バッチ凊理、ペヌゞ アテンション、フラッシュ アテンションなどの機胜ず䜵甚できるようになりたした。

    たずえば、この統合により、単䞀の A100-80GB GPU で 70B モデルを提䟛できるようになりたす。fp16 チェックポむントを䜿甚するず、利甚可胜な GPU メモリを超えるため、これは䞍可胜です。

    詳しくはドキュメントを参照しおください。

    6. PEFTによる量子化モデルのファむンチュヌニング

    通垞の方法では、量子化モデルをさらに孊習するこずはできたせん。 ただし、「PEFT」を掻甚するず、アダプタヌ䞊で孊習できたす。 これを行うには、量子化モデルのすべおの局をフリヌズし、孊習可胜なアダプタヌを远加したす。 GPTQモデルでPEFTを䜿甚する方法の䟋をいく぀か瀺したす。

    ・Colab ノヌトブック
    ・
    ファむンチュヌニングスクリプト

    7. サポヌトモデル

    今回の統合では、デコヌダヌたたぱンコヌダヌのみのアヌキテクチャを持぀LLMのみがサポヌトされたす。これは制限的に聞こえるかもしれたせんが、「Llama」「OPT「GPT-Neo」「GPT-NeoX」などのほずんどの最先端のLLMが含たれたす。ビゞョン、オヌディオ、マルチモヌダルモデルは珟圚サポヌトされおいたせん。



     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ