
FastChatでGPTQの使い方
GPTQ 量子化モデルをFastChatで使う方法
OS:Windows10
Python:3.10.11
CUDA:12.3
FastChatのインストール
FastChatは、大規模な言語モデル ベースのチャットボットをトレーニング、提供、評価するためのオープン プラットフォームです。
GitHubからFastChatのクローンを作成します
git clone https://github.com/lm-sys/FastChat.git作成したFastChatフォルダに移動します
cd FastChat移動したら仮想環境を作ります
python -m venv .venv仮想環境に入ります
.venv\Scripts\activateFastChatのパッケージをインストール
pip3 install -e ".[model_worker,webui]"GPTQ-for-LLaMaのセットアップ
簡単にGPTQは、GPT-3のような大規模言語モデルを、量子化と呼ばれる技術を使って軽量化・高速化するための手法です。
ドキュメントに従ってインストールします
FastChatディレクトリの下にold-cudaブランチをクローンします
git clone -b old-cuda https://github.com/qwopqwop200/GPTQ-for-LLaMa.git repositories/GPTQ-for-LLaMagit clone -b [ブランチ名][リポジトリのアドレス][保存先]
クローンしたディレクトリに移動します
cd repositories/GPTQ-for-LLaMaFastChatでインストールされたパッケージにはCPU用のpytorchがインストールされているので、GPUを使えるようにします
CUDAのバージョンを確認します
nvcc -V自分に合ったpytorchをインストールしてください
# 11
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 12
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121セットアップ
python setup_cuda.py install実行したときに、もし以下のようなエラーが出たときの対処法
OSError: CUDA_HOME environment variable is not set. Please set it to your CUDA install root.翻訳:CUDA_HOME 環境変数が設定されていません。 CUDA インストールルートに設定してください。
1. システム環境変数の編集を検索します
2. 値にインストールしたpytorchと同じバージョンのCUDAを探します
3. 変数を一時的にCUDA_HOMEに変更します(セットアップが終了すれば戻しても問題ないはずです)
pip3 install texttableGPTQ-for-LLaMa内のrequirements.txtをインストール
pip install -r requirements.txtモデルのダウンロード
GPTQ量子化モデルをhuggingfaceからダウンロード
モデルのダウンロードするディレクトリはどこでも構いません
FastChatディレクトリに保存するのをおすすめします
git clone https://huggingface.co/TheBloke/vicuna-7B-1.1-GPTQ-4bit-128g models/vicuna-7B-1.1-GPTQ-4bit-128g実行
順番に進めていけば
# 簡易ツリー
fastchat
└── repositories
└──GPTQ-for-LLaMa ---作業ディレクトリ
└── models
└── vicuna-7B-1.1-GPTQ-4bit-128gFastChatディレクトリに移動してモデルのダウンロードした場合
fastchat ---作業ディレクトリ
└── models
└── vicuna-7B-1.1-GPTQ-4bit-128gcliでの実行
modelsフォルダがあるディレクトリでコマンドの実行
python -m fastchat.serve.cli --model-path models/vicuna-7B-1.1-GPTQ-4bit-128g --gptq-wbits 4 --gptq-groupsize 128備考
rinnaのGPTQモデルを使いたい場合cliだけならモデルのダウンロードだけで使えます
ただしmodel_workerを使う場合はFastChatのいくつかファイルの編集をする必要がある
モデル追加方法を参照
モデルの追加方法
簡易的な実装方法
詳しい実装方法