メインコンテンツへスキップ
見出し画像

Google Colab で Cerebras-GPT を試す

    「Google Colab」で「Cerebras-GPT」を試したので、まとめました。

    【注意】「Cerebras-GPT 13B」を動作させるには、「Google Colab Pro/Pro+」のプレミアムが必要です。

    1. Cerebras-GPT

    「Cerebras-GPT」は、OpenAIのGPT-3をベースにChinchilla方式で学習したモデルになります。学習時間が短く、学習コストが低く、消費電力が少ないのが特徴とのことです。

    13B / 6.7B / 2.7B / 1.3B / 590M / 256M / 111M

    2. Colabでの実行

    Google Colabでの実行手順は、次のとおりです。

    (1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「プレミアム」を選択。

    (2) パッケージのインストール。

    # パッケージのインストール
    !pip install transformers

    (3) トークナイザーとモデルの準備。
    今回は、一番大きい「13B」を指定しました。

    from transformers import AutoTokenizer, AutoModelForCausalLM
    
    # トークナイザーとモデルの準備
    tokenizer = AutoTokenizer.from_pretrained("cerebras/Cerebras-GPT-13B")
    model = AutoModelForCausalLM.from_pretrained("cerebras/Cerebras-GPT-13B")

    (4) パイプラインの準備。

    from transformers import pipeline
    
    # パイプラインの準備
    pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

    (5) 日本語で質問応答。
    日本語はあまりうまく回答できませんでした。処理時間はCPUのみで1推論30〜40秒ほどでした。

    # 日本語で質問応答
    text="日本で一番人気のアニメは?"
    generated_text = pipe(text, max_length=50, do_sample=False, no_repeat_ngram_size=2)[0]
    print(generated_text['generated_text'])
    日本で一番人気のアニメは?t￰ᄊ﹀︀(※)
    
    そして、おふ�

    (6) 英語で質問応答。
    英語では自然な回答 (正確性は別として) が返ってきました。

    # 英語で質問応答
    text="What is the most popular anime in Japan?"
    generated_text = pipe(text, max_length=50, do_sample=False, no_repeat_ngram_size=2)[0]
    print(generated_text['generated_text'])
    The most watched anime is "Gintama" (Gin Tama). It is a comedy anime that is based on the manga of the same name. It was created by the studio "

    最も視聴されたアニメは「銀魂」(銀魂)です。 同名漫画が原作のコメディアニメです。 それはスタジオによって作成されました。



     
     

    npaka

     
     
    プログラマー。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガジェット。年2冊ペースで技術書を執筆。アニソン / カラオケ / ギター / 猫 twitter : @npaka123

    あなたへのおすすめ