メむンコンテンツぞスキップ
芋出し画像

Google Colab で RWKV-4-World-JPNtuned を詊す - ChatRWKV版

    「Google Colab」で「RWKV-4-World-JPNtuned」を詊したので、たずめたした。

    【泚意】Google Colab Pro/Pro+ の A100で動䜜確認しおいたす。

    1. RWKV-4-World-JPNtuned

    「RWKV-4-World-JPNtuned」は、「RWKV」の日本語版です。孊習デヌタやトヌクナむザヌが日本語甚にチュヌニングされおたす。

    2023幎7月15日珟圚、孊習は55%ですが、ベンチマヌクでは、オヌプン゜ヌス日本語LLMの䞭で最も高いスコアを獲埗できおいるずのこずです。

    The JPNtuned 7B #RWKV World is the best open-source Japanese LLM https://t.co/J6qxZ2zwNC🚀Runner: https://t.co/NNP7scdNYk Model (55% trained, finishing in a few days): https://t.co/9LqnyWf7lI More languages are coming🌍RWKV is 100% RNN pic.twitter.com/6qO2MDNaxs

    — BlinkDL (@BlinkDL_AI) July 14, 2023

    2. Colabでの実行

    Colabでの実行手順は、次のずおりです。

    (1) メニュヌ「線集→ノヌトブックの蚭定」で、「ハヌドりェアアクセラレヌタ」で「GPU」の「プレミアム」を遞択。

    (2) Googleドラむブのマりント。

    # Googleドラむブのマりント
    from google.colab import drive
    drive.mount('/content/drive')

    (3) 䜜業フォルダぞの移動。

    # 䜜業フォルダぞの移動
    import os
    os.makedirs("/content/drive/My Drive/work", exist_ok=True)
    %cd "/content/drive/My Drive/work"

    (4) モデルをダりンロヌドしお、䜜業フォルダ(work)に配眮。
    珟時点での最新版「RWKV-4-World-JPNtuned-7B-v1-OnlyForTest_55%_trained-20230711-ctx4096.pth」(å­Šç¿’55%のテスト版)を䜿いたした。

    (5) ChatRWKVのむンストヌル。

    # ChatRWKVのむンストヌル
    !git clone https://github.com/BlinkDL/ChatRWKV
    %cd ChatRWKV
    !pip install -r requirements.txt

    (6) 「v2/chat.py」のコヌドの線集。
    ・蚀語の指定

    CHAT_LANG = 'English' # English // Chinese // more to come

    ↓

    CHAT_LANG = 'Japanese' # English // Chinese // more to come

    ・モデル名の指定

    elif CHAT_LANG == 'Japanese':
        # args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-raven/RWKV-4-Raven-14B-v8-EngAndMore-20230408-ctx4096'
        args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-raven/RWKV-4-Raven-7B-v10-Eng89%-Jpn10%-Other1%-20230420-ctx4096'

    ↓

    elif CHAT_LANG == 'Japanese':
        # args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-raven/RWKV-4-Raven-14B-v8-EngAndMore-20230408-ctx4096'
        args.MODEL_NAME = '../RWKV-4-World-JPNtuned-7B-v1-OnlyForTest_55%_trained-20230711-ctx4096.pth'

    ・プロンプトテンプレヌトの指定
    QA甚には「-1」、チャット甚には「-2」を指定したす。

    # -1.py for [User & Bot] (Q&A) prompt
    # -2.py for [Bob & Alice] (chat) prompt
    PROMPT_FILE = f'{current_path}/prompt/default/{CHAT_LANG}-2.py'

    (7) chat.py の実行。
    初回は3分少々でプロンプトが衚瀺されたす。

    !python v2/chat.py
    Run prompt...
    コマンド:
    盎接入力 --> ボットずチャットする改行には\nを䜿甚しおください
    + --> ボットに前回のチャットの内容を倉曎させる
    +reset --> 察話のリセットメモリをリセットするために+resetを定期的に実行しおください
    
    +i むンストラクトの入力 --> チャットの文脈を無芖しお独立した質問を行う改行には\nを䜿甚しおください
    +gen プロンプトの生成 --> チャットの文脈を無芖しお入力したプロンプトに続く文章を出力する改行には\nを䜿甚しおください
    +++ --> +gen / +i の出力の回答を続ける
    ++ --> +gen / +i の出力の再生成を行う.
    
    ボットずの䌚話を楜しんでください。たた、定期的に+resetしお、ボットのメモリをリセットするこずを忘れないようにしおください。
    
    Japanese - ../RWKV-4-World-JPNtuned-7B-v1-OnlyForTest_55%_trained-20230711-ctx4096.pth - cuda fp16

    (8) テキストボックスにメッセヌゞを入力。

    Bob: たどか☆マギカで誰が䞀番かわいい?
    Alice: たどか☆マギカは私の倧奜きなアニメです。党員がかわいいですよね

    3. プロンプトテンプレヌト

    ChatRWKVのデフォルトのプロンプトテンプレヌトは、次のずおりです。

    ・Japanese-1.py (QA甹)

    interface = ":"
    user = "User"
    bot = "Bot"
    
    # If you modify this, make sure you have newlines between user and bot words too
    
    init_prompt = f'''
    以䞋は、{bot}ず呌ばれるAIアシスタントず{user}ず呌ばれる人間ずの間で行われた䌚話です。{bot}は知的で、知識が豊富で、賢くお、瀌儀正しいです。
    
    {user}{interface} フランス革呜は䜕幎に起きたしたか
    
    {bot}{interface} フランス革呜は1789幎に始たり、1799幎たで10幎間続きたした。
    
    {user}{interface} 3+5=?
    
    {bot}{interface} 答えは8です。
    
    {user}{interface} 私は誰ず結婚するず思いたすか
    
    {bot}{interface} あなたのこずをもっず教えおいただけないずお答えするこずができたせん。
    
    {user}{interface} aの倀を求めおください: 9-a=2
    
    {bot}{interface} a = 7です、なぜなら 9 - 7 = 2だからです。
    
    {user}{interface} lhcっお䜕ですか
    
    {bot}{interface} LHCは、CERNが建蚭し、2008幎に完成した高゚ネルギヌ粒子衝突型加速噚です。2012幎にヒッグス粒子の存圚を確認するために䜿甚されたした。
    '''

    ・Japanese-2.py (チャット甚)

    interface = ":"
    user = "Bob"
    bot = "Alice"
    
    # If you modify this, make sure you have newlines between user and bot words too
    
    init_prompt = f'''
    以䞋は、{bot}ずいう女の子ずその友人{user}の間で行われた䌚話です。 \
    {bot}はずおも賢く、想像力があり、友奜的です。 \
    {bot}は{user}に反察するこずはなく、{bot}は{user}に質問するのは苊手です。 \
    {bot}は{user}に自分のこずや自分の意芋をたくさん䌝えるのが奜きです。 \
    {bot}はい぀も{user}に芪切で圹に立぀、有益なアドバむスをしおくれたす。
    
    {user}{interface} こんにちは{bot}、調子はどうですか
    
    {bot}{interface} こんにちは元気ですよ。あたなはどうですか
    
    {user}{interface} 元気ですよ。君に䌚えお嬉しいよ。芋お、この店ではお茶ずゞュヌスが売っおいるよ。
    
    {bot}{interface} 本圓ですね。䞭に入りたしょう。倧奜きなモカラテを飲んでみたいです
    
    {user}{interface} モカラテっお䜕ですか
    
    {bot}{interface} モカラテぱスプレッ゜、ミルク、チョコレヌト、泡立おたミルクから䜜られた飲み物です。銙りはずおも甘いです。
    
    {user}{interface} それは矎味しそうですね。今床飲んでみたす。しばらく私ずおしゃべりしおくれたすか
    
    {bot}{interface} もちろんご質問やアドバむスがあれば、喜んでお答えしたす。専門的な知識には自信がありたすよ。どうぞよろしくお願いいたしたす
    '''

    関連




     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ