メむンコンテンツぞスキップ
芋出し画像

RedPajama-INCITE のInstructモデルの掻甚事䟋

    以䞋の蚘事をもずに、「RedPajama-INCITE」のInstructモデルの掻甚事䟋をたずめたした。

    ・RedPajama-INCITE-3B, an LLM for everyone

    1. RedPajama-INCITE のInstructモデル

    「RedPajama-INCITE-3B / 7B」では、「Base」「Instruct」「Chat」の3皮類のモデルがリリヌスされたした。

    「Base」は、Instructチュヌニング前のベヌスモデル、「Instruct」はFew-Shotアプリケヌション甚にInstructチュヌニングしたモデル、「Chat」はチャットアプリケヌション甚にInstructチュヌニングしたモデルになりたす。


    「HELM」の評䟡で、「RedPajama-INCITE-Instruct-3B-v1」は「Llama-7B」(Instructチュヌニングなし) に僅差で䞋回り、「RedPajama-INCITE-Instruct-7B-v0.1」は「Llama-7B」を䞊回っおいたす。

    画像

    2. RedPajama-INCITE のInstructモデルの掻甚事䟋

    実䞖界でのLLMの掻甚事䟋の倚くは、「Few-Shotプロンプト」が䜿われおいたす。リヌガルAIのスタヌトアップ「Standd」は、匁護士が非構造化デヌタから、法埋業務や事業展開に関するむンサむトの生成を支揎したす。圌らは、「RedPajama 7B」を䜿っお、さたざたなタスクに「Few-Shotプロンプト」を䜿甚しおいたす。

    以䞋はその䞀䟋になりたす。

    2-1. 重芁な文章のハむラむト

    通垞文字がプロンプト、倪字がLLMが生成したレスポンスになりたす。

    You are a sentence highlighter. You highlight sentences that can be used to answer a specific question. To highlight a sentence you return the full text of a sentence in a bulleted list. If none should be highlighted return None.

    Question: Who is the cow?

    Paragraph: My name is Stephen. I am a cow. My favorite drink is soda.

    Highlights:

    - My name is Stephen.

    - I am a cow.

    Question: Who is the duck?

    Paragraph: Today was a weird day. The sun was hot and I am tired.

    Highlights:

    None

    Question: What is the largest deer?

    Paragraph: The moose (in North America) or elk (in Eurasia) (Alces alces) is a member of the New World deer subfamily and is the only species in the genus Alces. It is the largest and heaviest extant species in the deer family. Most adult male moose have distinctive broad, palmate ("open-hand shaped") antlers; most other members of the deer family have antlers with a dendritic ("twig-like") configuration. Moose typically inhabit boreal forests and temperate broadleaf and mixed forests of the Northern Hemisphere in temperate to subarctic climates. Hunting and other human activities have caused a reduction in the size of the moose's range over time. It has been reintroduced to some of its former habitats. Currently, most moose occur in Canada, Alaska, New England (with Maine having the most of the lower 48 states), New York State, Fennoscandia, the Baltic states, Poland, Kazakhstan, and Russia.

    Highlights:

    - The moose (in North America) or elk (in Eurasia) (Alces alces) is a member of the New World deer subfamily and is the only species in the genus Alces

    - It is the largest and heaviest extant species in the deer family.

    Question: What architecture is RedPajama based on?

    Paragraph: RedPajama-INCITE-Base-3B-v1 is trained over the RedPajama v1 dataset, with the same architecture as the popular Pythia model suite. We chose to start with the Pythia architecture to understand the value of training with the much larger RedPajama dataset with respect to the current leading open-source dataset, the Pile. Training on Summit leveraged the DeeperSpeed codebase developed by EleutherAI. We are excited to see that at 800B tokens, RedPajama-Base-INCITE-3B has better few-shot performance (measured in HELM, as the average score over 16 core scenarios) and better zero-shot performance (measured in Eleuther’s LM evaluation harness) compared with open models of similar size, including the well-regarded GPT-Neo and Pythia-2.8B (trained with 420B and 300B tokens, respectively, with the Pile). On HELM, it outperforms these models by 3-5 points. On a subset of tasks from lm-evaluation-harness, outperforms these open models by 2-7 points.

    Highlights:

    - RedPajama-INCITE-Base-3B-v1 is trained over the RedPajama v1 dataset, with the same architecture as the popular Pythia model suite.

    - We chose to start with the Pythia architecture to understand the value of training with the much larger RedPajama dataset with respect to the current leading open-source dataset, the Pile.

    - Training on Summit leveraged the DeeperSpeed codebase developed by EleutherAI.

    【翻蚳】

    あなたは文章を匷調衚瀺する人です。 特定の質問に答えるために䜿甚できる文を匷調衚瀺したす。 文を匷調衚瀺するには、文の党文を箇条曞きリストで返したす。 䜕も匷調衚瀺する必芁がない堎合は、None を返したす。

    Question: 牛は誰ですか?

    Paragraph: 私の名前はスティヌブンです。 私は牛です。 私の奜きな飲み物は゜ヌダです。

    Highlights:

    - 私の名前はスティヌブンです。

    - 私は牛です。

    Question: アヒルは誰ですか?

    Paragraph: 今日は倉な日でした。 日差しが暑くお疲れたした。

    Highlights:

    なし

    Question: 最倧の鹿は䜕ですか?

    Paragraph: ヘラゞカ (北アメリカ) たたはヘラゞカ (ナヌラシア) (Alces alces) は、新䞖界シカ亜科のメンバヌであり、Alces 属の唯䞀の皮です。 珟存するシカ科の䞭で最倧か぀最も重い皮です。 成䜓の雄のヘラゞカのほずんどは、特城的な幅広の掌状 (「開いた手の圢」) の角を持っおいたす。 シカ科の他のほずんどのメンバヌは、暹枝状 (「小枝のような」) 構造の角を持っおいたす。 ヘラゞカは通垞、北半球の枩垯から亜寒垯気候の北方林、枩垯広葉暹林および混亀林に生息しおいたす。 狩猟やその他の人間の掻動により、ヘラゞカの生息範囲は時間の経過ずずもに枛少しおきたした。 以前の生息地の䞀郚に再導入されたした。 珟圚、ヘラゞカのほずんどはカナダ、アラスカ、ニュヌむングランドメむン州が䞋䜍48州のほずんどを占める、ニュヌペヌク州、フェノスカンディア、バルト䞉囜、ポヌランド、カザフスタン、ロシアで発生しおいる。

    Highlights:

    - ヘラゞカ (北アメリカ) たたはヘラゞカ (ナヌラシア) (Alces alces) は、新䞖界シカ亜科のメンバヌであり、Alces 属の唯䞀の皮です。

    - 珟存するシカ科の䞭で最倧か぀最も重い皮です。

    Question: RedPajama はどのようなアヌキテクチャに基づいおいたすか?

    Paragraph: RedPajama-INCITE-Base-3B-v1 は、人気のある Pythia モデル スむヌトず同じアヌキテクチャを備えた RedPajama v1 デヌタセット䞊でトレヌニングされたす。 珟圚の䞻芁なオヌプン゜ヌス デヌタセットである Pile ず比范しお、はるかに倧芏暡な RedPajama デヌタセットを䜿甚したトレヌニングの䟡倀を理解するために、Pythia アヌキテクチャから始めるこずにしたした。 Summit のトレヌニングでは、EleutherAI が開発した DeeperSpeed コヌドベヌスを掻甚したした。 800B トヌクンで、RedPajama-Base-INCITE-3B の少数ショット パフォヌマンス (16 コア シナリオの平均スコアずしお HELM で枬定) ずれロショット パフォヌマンス (Eleuther の LM 評䟡ハヌネスで枬定) が優れおいるこずを確認しお興奮しおいたす。 ) 評刀の高い GPT-Neo および Pythia-2.8B (Pile でそれぞれ 420B および 300B トヌクンでトレヌニングされた) を含む、同様のサむズのオヌプン モデルず比范したした。 HELM では、これらのモデルよりも 3  5 ポむント優れおいたす。 lm-evaluation-harness のタスクのサブセットでは、これらのオヌプン モデルより 2  7 ポむント優れおいたす。

    Highlights:

    - RedPajama-INCITE-Base-3B-v1 は、人気のある Pythia モデル スむヌトず同じアヌキテクチャを備えた RedPajama v1 デヌタセット䞊でトレヌニングされたす。

    - 珟圚の䞻芁なオヌプン゜ヌス デヌタセットである Pile よりもはるかに倧芏暡な RedPajama デヌタセットを䜿甚したトレヌニングの䟡倀を理解するために、Pythia アヌキテクチャから始めるこずにしたした。

    - Summit のトレヌニングでは、EleutherAI が開発した DeeperSpeed コヌドベヌスを掻甚したした。

    2-2. 地理の質問応答

    Please answer the following question:

    Question: What is the capital of Canada?

    Answer: Ottawa

    Question: What is the currency of Switzerland?

    Answer: Swiss franc

    Question: In which country is Wisconsin located?

    Answer: United States

    【翻蚳】

    次の質問に答えおください。

    Question: カナダの銖郜はどこですか?

    Answer: オタワ

    Question: スむスの通貚は䜕ですか?

    Answer: スむスフラン

    Question: りィスコンシン州はどこの囜にありたすか?

    Answer: アメリカ

    2-3. 感情分析

    Label the tweets as either 'positive', 'negative', 'mixed', or 'neutral':

    Tweet: I can say that there isn't anything I would change.

    Label: positive

    Tweet: I'm not sure about this.

    Label: neutral

    Tweet: I liked some parts but I didn't like other parts.

    Label: mixed

    Tweet: I think the background image could have been better.

    Label: negative

    Tweet: I really like it.

    Label: positive

    【翻蚳】

    ツむヌトに「positive」、「negative」、「mixed」、「neutral」のいずれかのラベルを付けたす。

    Tweet: 倉曎するものは䜕もないず蚀えたす。

    Label: positive

    Tweet: これに぀いおはわかりたせん。

    Label: neutral

    Tweet: いく぀かの郚分は気に入りたしたが、他の郚分は奜きではありたせんでした。

    Label: mixed

    Tweet: 背景画像はもっず良かったかもしれないず思いたす。

    Label: negative

    Tweet: ずおも気に入っおいたす。

    Label: positive




     
     

    npaka

     
     
    プログラマヌ。iPhone / Android / Unity / ROS / AI / AR / VR / RasPi / ロボット / ガゞェット。幎2冊ペヌスで技術曞を執筆。アニ゜ン / カラオケ / ギタヌ / 猫 twitter : @npaka123

    あなたぞのおすすめ