メインコンテンツへスキップ
見出し画像

Google Colab で Japanese Stable LM Gamma 7B を試す

    「Google Colab」で「Japanese Stable LM Gamma 7B」を試したので、まとめました。

    1. Japanese Stable LM Gamma 7B

    「Japanese Stable LM Gamma 7B」は、「Stability AI」が開発した「Mistral-7B-v0.1」ベースの日本語LLMです。

    2. Japanese Stable LM Gamma 7B のモデル

    「Japanese Stable LM Gamma 7B」は、現在2つのモデルが提供されています。

    ・Japanese Stable LM Base Gamma 7B : ベースモデル
    ・Japanese Stable LM Instruct Gamma 7B : 指示モデル

    3. Colabでの実行

    Colabでの実行手順は、次のとおりです。

    (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。

    (2) パッケージのインストール。

    # パッケージのインストール
    !pip install transformers accelerate

    (2) トークナイザーとモデルの準備。

    from transformers import AutoTokenizer, AutoModelForCausalLM
    
    # トークナイザーとモデルの準備
    tokenizer = AutoTokenizer.from_pretrained(
        "stabilityai/japanese-stablelm-instruct-gamma-7b"
    )
    model = AutoModelForCausalLM.from_pretrained(
        "stabilityai/japanese-stablelm-instruct-gamma-7b",
        torch_dtype="auto",
        device_map="auto",   
    )

    (3) 推論の実行。

    # プロンプトの準備
    prompt = """以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。
    
    ### 指示: 
    まどか☆マギカでは誰が一番かわいい?
    
    ### 応答:
    """
    
    # 推論の実行
    input_ids = tokenizer.encode(
        prompt, 
        add_special_tokens=False, 
        return_tensors="pt"
    )
    tokens = model.generate(
        input_ids.to(device=model.device),
        max_new_tokens=100,
        temperature=1,
        top_p=0.3,
        do_sample=True,
    )
    output = tokenizer.decode(tokens[0][input_ids.shape[1]:], skip_special_tokens=True).strip()
    print(output)

    まどか☆マギカでは、キャラクターの中で最も人気があるのは、暁美ほむらです。ほむらは、魔法少女の中で最も強いキャラクターであり、まどかの魔法少女の中で最も人気があるキャラクターでもあります。ほむらは



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ