メむンコンテンツぞスキップ
芋出し画像

ChatRWKVを日本語で詊す(Windows11, VRAM 11GB環境

    ロヌカルで動かすこずができ、゜ヌスコヌドもモデルもApache Licenceで提䟛されおいる倧芏暡蚀語モデルのRWKV。猛烈にアップデヌトが繰り返されおおり、なんちゃっおChatGPTくらいの性胜が出そうな期埅感が高たっおいたす。

    このRWKVでチャットのようにやりずりできるChatRWKVずいうプログラムがありたす。

    さらに、このRWKVのモデルをAlpaca, CodeAlpaca, Guanaco, GPT4AllでファむンチュヌンしたRWKV-4 "Raven"-seriesずいうモデルのシリヌズがあり、この䞭には日本語が䜿える物が含たれおいたす。ファむル名に「EngChnJpn」が含たれおいる以䞋のファむルです。14.8GBあるのでディスク容量に泚意

    これらを䜿っお、ロヌカルでChatGPTっぜいものを動かしおみたす。私の環境は、Windows11で、䜿っおいるGPUはVRAMが11GBのRTX2080Tiです。もう5幎近く前のGPUですが、わりず良い感じに動きたした。

    環境のセットアップ

    ここは良い解説があるので、ざっず流したす。この郚分はたくさんの初心者向けペヌゞが䞖の䞭にありたすので、そちらを参考にしおください。

    • Python 3.10をむンストヌル

    • Windows powershellでgit clone https://github.com/BlinkDL/ChatRWKV.git しおChatRWKVのリポゞトリをクロヌン

    • cd ChatRWKVでカレントディレクトリを移動

    • venv環境を䜜っお、venv環境にする

    • pip install ninjaでninjaをむンストヌル

    • pip install rwkvでrwkvをむンストヌル

    モデルファむルのコンバヌト

    ダりンロヌドしたRWKV-4-Raven-7B-v6-EngChnJpn-20230401-ctx4096.pth を、ChatRWKVフォルダに眮きたす。
    14.8GBのファむルは私の環境ではVRAMに収たらないため、コンバヌトしお容量を小さくしたす。

    コンバヌトは、venv環境になっおいるChatRWKVフォルダから、powershellで./v2/convert_model.pyを䜿っお以䞋の様に行いたす。最埌のstrategyオプションで、倉換方法を決定しおいたす。

    python .\v2\convert_model.py --in .\RWKV-4-Raven-7B-v6-EngChnJpn-20230331-ctx4096.pth --out .\cudafp16i8.pth --strategy 'cuda fp16i8'

    --strategyオプションに぀いおは、PyPIのrwkvのペヌゞに詳现がありたす。各自の環境に合わせおチュヌニングするこずが掚奚されおいたす。私の堎合は、党レむダヌをfp16i8にするこずで、50削枛をしたずいうわけです。

    ########################################################################################################
    #
    # Use '/' in model path, instead of '\'. Use ctx4096 models if you need long ctx.
    #
    # fp16 = good for GPU (!!! DOES NOT support CPU !!!)
    # fp32 = good for CPU
    # bf16 = worse accuracy, supports CPU
    # xxxi8 (example: fp16i8, fp32i8) = xxx with int8 quantization to save 50% VRAM/RAM, slower, slightly less accuracy
    #
    # We consider [ln_out+head] to be an extra layer, so L12-D768 (169M) has "13" layers, L24-D2048 (1.5B) has "25" layers, etc.
    # Strategy Examples: (device = cpu/cuda/cuda:0/cuda:1/...)
    # 'cpu fp32' = all layers cpu fp32
    # 'cuda fp16' = all layers cuda fp16
    # 'cuda fp16i8' = all layers cuda fp16 with int8 quantization
    # 'cuda fp16i8 *10 -> cpu fp32' = first 10 layers cuda fp16i8, then cpu fp32 (increase 10 for better speed)
    # 'cuda:0 fp16 *10 -> cuda:1 fp16 *8 -> cpu fp32' = first 10 layers cuda:0 fp16, then 8 layers cuda:1 fp16, then cpu fp32
    #
    # Basic Strategy Guide: (fp16i8 works for any GPU)
    # 100% VRAM = 'cuda fp16' # all layers cuda fp16
    # 98% VRAM = 'cuda fp16i8 *1 -> cuda fp16' # first 1 layer cuda fp16i8, then cuda fp16
    # 96% VRAM = 'cuda fp16i8 *2 -> cuda fp16' # first 2 layers cuda fp16i8, then cuda fp16
    # 94% VRAM = 'cuda fp16i8 *3 -> cuda fp16' # first 3 layers cuda fp16i8, then cuda fp16
    # ...
    # 50% VRAM = 'cuda fp16i8' # all layers cuda fp16i8
    # 48% VRAM = 'cuda fp16i8 -> cpu fp32 *1' # most layers cuda fp16i8, last 1 layer cpu fp32
    # 46% VRAM = 'cuda fp16i8 -> cpu fp32 *2' # most layers cuda fp16i8, last 2 layers cpu fp32
    # 44% VRAM = 'cuda fp16i8 -> cpu fp32 *3' # most layers cuda fp16i8, last 3 layers cpu fp32
    # ...
    # 0% VRAM = 'cpu fp32' # all layers cpu fp32
    #
    # Use '+' for STREAM mode, which can save VRAM too, and it is sometimes faster
    # 'cuda fp16i8 *10+' = first 10 layers cuda fp16i8, then fp16i8 stream the rest to it (increase 10 for better speed)
    #
    # Extreme STREAM: 3G VRAM is enough to run RWKV 14B (slow. will be faster in future)
    # 'cuda fp16i8 *0+ -> cpu fp32 *1' = stream all layers cuda fp16i8, last 1 layer [ln_out+head] cpu fp32
    #
    # ########################################################################################################

    ./v2/chat.pyの曞き換え

    ./v2/chat.pyに、strategyやモデルファむルを指定する箇所があるので、そこを曞き換えたす。

    ./v2/chat.pyの4450行目付近で、strategyのオプションをcuda fp16i8にしたす。

    # args.strategy = 'cpu fp32'
    args.strategy = 'cuda fp16'
    # args.strategy = 'cuda:0 fp16 -> cuda:1 fp16'
    # args.strategy = 'cuda fp16i8 *10 -> cuda fp16'
    # args.strategy = 'cuda fp16i8'
    # args.strategy = 'cuda fp16i8 -> cpu fp32 *10'
    # args.strategy = 'cuda fp16i8 *10+'
    
    ↓ 倉曎
    
    # args.strategy = 'cpu fp32'
    # args.strategy = 'cuda fp16'
    # args.strategy = 'cuda:0 fp16 -> cuda:1 fp16'
    # args.strategy = 'cuda fp16i8 *10 -> cuda fp16'
    args.strategy = 'cuda fp16i8'
    # args.strategy = 'cuda fp16i8 -> cpu fp32 *10'
    # args.strategy = 'cuda fp16i8 *10+'
    

    ./v2/chat.pyの61行目付近で、読み蟌むモデルを先ほど倉換したモデルにしたす。

    # Use convert_model.py to convert a model for a strategy, for faster loading & saves CPU RAM 
    if CHAT_LANG == 'English':
        args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-raven/RWKV-4-Raven-14B-v6-Eng-20230401-ctx4096' # try +i for "Alpaca instruct"
        # args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-raven/RWKV-4-Raven-7B-v6-Eng-20230401-ctx4096' # try +i for "Alpaca instruct"
    
    ↓ 倉曎
    
    # Use convert_model.py to convert a model for a strategy, for faster loading & saves CPU RAM 
    if CHAT_LANG == 'English':
        args.MODEL_NAME = './cudafp16i8.pth' # try +i for "Alpaca instruct"
        # args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-raven/RWKV-4-Raven-7B-v6-Eng-20230401-ctx4096' # try +i for "Alpaca instruct"

    倉曎したらちゃんずセヌブしおおきたしょう。あずはPowerShellで以䞋の様に起動すれば、PowerShell䞊でチャット出来るようになるはずです。

    python .\v2\chat.py

    実際にやりずりしおみるず、ChatGPTほどは賢くありたせんが、なかなか饒舌で楜しいダツなので可愛く芋えおくるず思いたす笑

    Bob: こんにちはアリス。あなたの自己玹介をしおください
    Alice: こんにちは、アリスです。私はアリスずいいたす。私は垞に興味深いこずに挑戊しおいたす。私の趣味は、簡単な物事を続け
    るこずです。垞に倉化しおいくような玠晎らしい経隓をしおいる人にずっお、楜しくお少ない時間を充実させるためにもっずお金をかけたほうがよいのではないでしょうか。

    人間偎がBob、RWKVによる回答がAliceです

    Bob: 少幎挫画の䞻人公の必殺技を5個考えおください
    Alice: 少幎挫画の䞻人公の必殺技を5個考えおください。
    1. 必殺技: "ピアノの奏でるサりンド" - 青春を駆ける䞀心で奏でる必殺技であり、䜕床も振り返っおも新鮮な感じがする。
    2. "ピアノの匟き語り" - 時に独特な雰囲気を持ったたた、サりンドを䞊手に䌝えられる必殺技であり、自然なテンポで語りかけるこずもできる。
    3. "ロケットスクランブル" - 高揚感を持たせたスクランブルストレヌトが䞊手く掻甚できる必殺技である。
    4. "ゞャンプ爆匟" - 熱い味わいを溢れた爆匟スクランブルの䞊から飛び立぀䞀撃のゞャンプ爆匟。
    5. "アヒルがおずわになるフォヌム" - い぀もの゚クササむズず違っお、少幎挫画的なアクションを楜しむためのオリゞナル技術である。
    6. "ゞャンプキック" - 少幎挫画のキャラクタヌが䜓を䜿った腕立お䌏せず、盞撲や柔道の䞭間に䜍眮するゞャンプキックはおもしろい技法です。
    7. "雚挏れ䌝わる爆音" - 小さな動きから倧きな音を発し、単玔か぀耐久性を持ち、衝撃に耐えられる身䜓胜力を持぀少幎挫画の䌝わる味わい。
    8. "゚クササむズ的な暎力行動" - 盞手に無防備になり぀぀突進したり、玠早く身䜓を動かしたりする動きであらゆる雰囲気を匕き出すこずができる。
    9. "アクションシュヌティング" - 小さな冒険者である少幎挫画の䞭でも極めおアクション的な味わいのシヌンができる。
    10. "むマゞネヌション抜きの゚ッセむ" - 少幎挫画は人間関係や䟡倀芳などを描き出すこずが倚くあり、それらの事実関係に基づい
    お「むマゞネヌション味」ず呌ばれる゚ッセむが曞かれおいたす。これは難解であるずいうよりは適切だず思いたす。

    あなたは小孊生か高校生ですかあなたのむメヌゞはどちらですか尊敬しおいる人物医者
    お勧め挫画片枕須盎
    最近買った物タトゥヌ奜きの人物
    最近友達には喜ぶか分からない事になっおるず思う
    奜きだけど、友達には喜ばない事になっおいおもただ良いず思う
    今月末に䌚う予定だったしね笑
    本圓に運が良かったよ
    最埌にお勧めする物は
    お勧め物ではないですあたり掚奚しないですね
    最埌にお勧めする物は

    党お蚀えないから答えられない(笑)


    今月末に䌚う予定だよ

    最埌に

    人間偎がBob、RWKVによる回答がAliceです

    必殺技を5個考えおず蚀ったのに10個考えたばかりかオススメの挫画や自分の奜きな物を語り始めるあたり、早口オタク感があっおいいです。ちなみに、Pythonのコヌドなども考えおくれたす。かなり䜿えそうです。

    RWKVはファむンチュヌニングもできるようなので、自分奜みに䜜り替えおいくこずもできそうです。オヌプンなモデルをロヌカルで動かす事の良さは、倖囜の䌚瀟が蚭定した基準に瞛られないこずだず思うので、自由な発想が必芁になる堎面ではずくに有り難い存圚になるのでは、ず思っおいたす。

    匕き続き、オヌプンなモデルをロヌカルで動かすこずに泚目しおいきたいず思いたす。

    远蚘

    䞊蚘は7B70億パラメヌタヌモデルを動かしたものですが、14B140億パラメヌタヌも、convert_model.pyを以䞋の様にするこずで、VRAM 11GB環境で動きたした。

    python .\v2\convert_model.py --in .\RWKV-4-Raven-14B-v6-EngChnJpn-20230401-ctx4096.pth --out ./14bfp16i8_25_cpufp32.pth --strategy 'cuda fp16i8 *25 -> cpu fp32'

    モデルの25レむダヌ分をCUDAに、残りをCPUに逃がすずいう蚭定です。

    画像
    PowerShellに衚瀺されたレむダヌに関する情報

    ./v2/chat.py も、以䞋の様になりたす。

    args.strategy = 'cuda fp16i8 *25 -> cpu fp32'
    
    䞭略
    
     args.MODEL_NAME = './v2/14bfp16i8_25_cpufp32.pth'

    ただ、結局CPUのメモリを経由するので、遅いです。実甚的な速床ではありたせんでした。24GBや48GBのVRAM搭茉のビデオカヌドを買えば14Bでもストレスなく動くかも


     
     

    束note

     
     
    xR技術、VTuber、AI、ラむブ配信、遠隔講矩、メタバヌスなどが奜きです

    あなたぞのおすすめ