メインコンテンツへスキップ
見出し画像

ツールフォーマー:メタの言語モデルはAPIで検索エンジン、電卓、カレンダーを使う

    言語モデル(LM)は、ある入力に基づいて自然言語のテキストを生成できる強力なシステムです。質問に答えたり、物語を書いたり、記事を要約したりといったさまざまなタスクをこなすことができます。しかし、それらにもいくつかの限界があります。

    例えば、算数や事実検索といった基本的な機能に苦戦することがよくあります。これらの機能は、より単純で小さなモデルが得意とするものです。また、事実と異なる情報を含むテキストを生成する傾向があります。

    これらの限界を克服するために、Meta AI Researchは最近「ツールフォーマー:言語モデルは自分自身にツールの使い方を教えることができる」というタイトルの論文を発表しました。

    この記事ではツールフォーマーがさまざまなツールを利用できるようになる訓練の仕組みを解説します。

    ツールフォーマーとは

    ツールフォーマー(Toolformer)は、外部ツール(検索エンジンや電卓やカレンダーなど)をシンプルなAPI(アプリケーション・プログラミング・インターフェース)経由で使える言語モデルです。

    つまり、ツールフォーマーはAPI経由で外部プログラムにアクセスし、自身の中には存在しない情報や機能にアクセスすることで能力を向上させることができます。

    例えば、ツールフォーマーはWikipedia検索エンジンAPIを使って質問に答えたり要約を書くための関連する事実を見つけることができます。計算機APIを使って算数や変換などの操作を行うことができます。カレンダーAPIを使って日付やイベントなどを確認することができます。これらのツールを使うことで、ツールフォーマーは高度な推論と基本的なAPI機能の両方の長所を得ることができます。

    このためゼロショット(ファインチューニングを使わない)でも下流タスクで優れた性能を達成しました。 その上、コアの言語モデリング能力も犠牲にしません(理由は、後述します)。

    ツールフォーマーのベースモデルは

    ツールフォーマーのベースとなるのは言語モデルGPT-Jです。GPT-JはJAXを使って作られたオープンソースの言語モデルでOpenAIのGPT-3の代替として使えるように開発されました。GPT−3が1750億個のパラメータがある一方、GPT-Jは60億個のパラメータという比較的に小さいモデルです。

    そのままではGPT-3には敵わないのですが、Metaの研究者たちはGPT-Jを外部APIを使えるように訓練し、結果として多くのテストでGPT-3よりもより良い性能を発揮できるようになりました。

    ここで利用されたのが文脈内学習です。 文脈内学習では与えられて例文か意図を読み取って文章生成を行うことができます。この文脈内学習をうまく利用してGPT-Jが外部APIを必要なときに呼び出せるように訓練したのがツールフォーマーになります。

    文脈内学習をどのように外部APIを使えるようにする訓練に利用するのかがもっとも重要なポイントになります。詳細は訓練の説明とともに後述します。

    ツールフォーマーが使う外部ツール

    ツールフォーマーでは以下の5つのツールに対してAPIを通して情報を収集できるようになっています。

    • 質疑応答システム

    • Wikipedia検索

    • 計算機

    • カレンダー

    • 機械翻訳

    例えば、「日本の首都は」という文章に続くテキストを生成する際に質疑応答のAPIを呼び出して「日本の首都はなんですか」と質問をし、「東京」という答えを得ると、それを生成文章に取り入れることができます。

    MicrosoftのBingでもChatGPTとウェッブ検索を融合したチャットAIを採用しており、翻訳も可能なので機能的に似ていると言えるでしょう。ただし、BingのチャットAIとツールフォーマーの直接の性能比較はないのでどちらが優れているのかは分かりません。また、ツールフォーマーはチャットよりも文章生成を主に目的としているのでGPT-3と比べるのが妥当でしょう。

    一般のユーザーが使用できるようにはなっていませんが論文には実験結果が掲載されており、多くのテストでGPT-3よりもより良い性能を発揮しています。よって外部APIを使うことの効果がよく出ていると言えます。

    なぜ外部APIを使うのか

    Metaの研究者たちはなぜ言語モデルにAPIの使い方を教えたいと考えたのでしょうか。それは言語モデルの限界を乗り越えるためでした。

    ChatGPTなどを試した方は知っていることですが、言語モデルは正確でない情報をもっともそうな文章として生成します。なぜならば、これらの言語モデルは人間が判断して自然だと感じる文章を生成するように強化学習を利用して訓練されており、事実をチェックして正確な情報を与えるように訓練されたわけではないからです。

    ツールフォーマーの論文によると現在の言語モデルは以下の制限・限界があると述べています。

    • 最新のイベントなどの情報にアクセスできない

    • 事実を捏造ねつぞうするクセがある

    • 計算を正確に行うことができない

    • 時間の経過の概念がない

    よって前述した外部ツールを使いこなせれば上記の制限・限界をある程度は乗り越えることができることになります。

    このように外部情報で補強することで、大規模な言語モデル(LLM)が持つ一般的な知識と、特定のタスクに適した専門的な知識を組み合わせることができるので今後の応用の幅も広がることでしょう。

    外部APIを呼ぶための訓練データは?

    ツールフォーマーは自己教師あり学習の方法でAPIを使うことを学習します。自己教師あり学習では正解データのないデータセットから正解データを生成することで教師あり学習を行います。

    API呼び出しの例

    つまり、既存のデータセットから外部APIを呼び出す文章を生成することになります。

    例えば、以下の文章がプロンプトとして与えられているとします。

    Joe Biden was born in(ジョー・バイデンが生まれたのは)

    これに対して次のような外部APIの呼び出しを行えば質疑応答(QA)システムから解答を得られます。

    QA(”Where was Joe Biden born?”)

    つまり、ツールフォーマーがこのような文章を生成できるようになれば良いわけです。また、このようなプロンプトとAPIの呼び出しの例がたくさんあれば教師あり学習を行えることなります。

    そこでGPT-Jの文脈内学習を利用します。下の図は論文から引用したものですが、APIの呼び出しを文章として生成するための説明と例文を提示しています。

    画像
    論文の図3

    日本語にすると以下のようになります。

    あなたのタスクは、質問応答 API への呼び出しをテキストに追加することです。質問は、テキストを完成させるために必要な情報を得るのに役立つはずです。質問したい内容を「[QA("質問")」と書くことで質疑応答APIを呼び出すことができます。API呼び出しの例をいくつか紹介します:

    入力: ジョー・バイデンはスクラントン、ペンシルベニア州で生まれました。
    出力: ジョー・バイデンは[QA("ジョー・バイデンはどこで生まれましたか?")]スクラントン、 [QA("スクラントンどの州にありますか?")]ペンシルベニア州で生まれました。

    入力: コカコーラ、またはコーラは炭酸清涼飲料です。コカ・コーラ社が製造しました。
    出力: コカコーラ、または[QA("コカコーラは他にどのような名前で知られていますか?")]コーラは炭酸清涼飲料です。[QA("コカ・コーラを製造している会社は何ですか?")]コカ・コーラ社が製造しました。

    入力: x
    出力:

    最後の入力: xはデータセットから実際に取り出した文章になります。それに対してGPT-JがAPI呼び出しを含んだ文章を生成します。

    正解データの生成

    文脈内学習を使えば大量の訓練データを自動生成することができます。ただし、実際にはAPIの呼び出しとして正しくないものを生成する可能性もあるので正解データとして含める前に内容のチェックを行います。

    まず、同じ入力文章に対してAPI呼び出し文章を複数個生成します。それぞれのAPI呼び出し文章を使って実際に返答を得ます。その返答が期待される文章を生成するのに役立つ度合いを評価し正解データとして含めるかどうかを決めます。

    以下は論文の例からの引用です。

    画像
    論文の図2

    語順の違いがあるのでそのまま日本語には訳せないので以下に英語と日本語を交えて解説します。

    データセットからの文章:
    「Pittsburgh is also known as the Steel City」
    (ピッツバーグはスチールシティとしても知られています)

    プロンプト:
    「Pittsburgh is also known as」
    (ピッツバーグは…としても知られています)

    期待される続きの文章:
    「the Steel City」
    (スチールシティ)

    文脈内学習でAPI呼び出し文章を複数採取:

    API呼び出し文章1: What other name is Pittsburgh known by?
    (ピッツバーグは他に何の名前で知られていますか?)

    API呼び出し文章2: Which country is Pittsburgh in?
    (ピッツバーグはどの国にありますか?)

    API実行結果:
    API実行結果1: Steel City
    API実行結果2: United States

    このように複数のAPI呼び出し文章を生成して使えるものを選び訓練データに含めます。以下の例のように訓練データはAPIの呼び出し文章とその回答テキストが→を挟んだ形式になっています。

    Pittsburgh is also known as [QA(”What other name is Pittsburgh known by?”)→Steel City] the Steel City.

    ピッツバーグは[QA("ピッツバーグは他に何の名前で知られていますか?")→
    スチールシティ]スチールシティとしても知られています

    訓練データが上記のような→を挟む形式になっているのには理由があります。次にその理由を説明します。

    APIの回答を含める理由

    APIが正しければAPIからの回答を含める必要はなさそうですが、実際には必要です。なぜなら、モデルの訓練中はAPIを実際に呼び出すことはありません。よってAPI呼び出しと共に回答も文章に含めます。これによってモデルの訓練は通常の言語モデルの訓練と同様に行うことができます。

    これを理解するにはまず、訓練ではなく実際にAPIを呼び出す例を見ると分かりやすいです。

    例えば、訓練ではなく、実際に「Pittsburgh is also known as」という文章の続きとしてモデルが次のようにAPIの呼び出しを生成したとします。

    [QA(”What other name is Pittsburgh known by?”)→

    この矢印(→)のところまで生成された時点でAPIの呼び出しが行われます。そしてAPIからの回答が文章に追加されます。

    [QA(”What other name is Pittsburgh known by?”)→Steel City]

    これを受けてモデルが続きの文章を生成します。つまり、モデルからすると上記の文章が新たなプロンプトとなることで続きの文章を生成するわけです。最終的な生成文章からは鉤括弧かぎかっことその中身は取り除かれます。

    これと同じ状況を訓練でも作ります。しかし、訓練ではAPIを呼び出すことはありません(遅くなるので)。よって訓練用のデータにはAPI呼び出しとその回答を含める必要があります。また、そうすることで言語モデルからすると通常の文章生成の訓練と同じように文章の続きを生成するだけなのでモデルや訓練の手順を大きく変更する必要がありません。


    さらに、訓練データを生成する際にもこの形式が役に立ちます。API呼び出し文章の候補があるときにそれがどれほど優れているのかは次のように決めます。

    前述の例をここでも使います。プロンプトとして次の3つのパターンを使います。

    パターン1 (APIの呼び出しなしの文章):
    Pittsburgh is also known as

    パターン2 (APIの呼び出しありの文章):
    Pittsburgh is also known as [QA(”What other name is Pittsburgh known by?”)]

    パターン3
    (APIの呼び出しと回答ありの文章):
    Pittsburgh is also known as [QA(”What other name is Pittsburgh known by?”)→Steel City]

    この3つのパターンのプロンプトで文章生成を行い訓練における損失値を計算します。パターン3による損失値が他のパターンと比べてより低ければ、APIの呼び出しとその回答が役に立っているのが分かります。よって損失値の違い計算してパターン3がどのくらい優位であるかによって訓練データに含めるかどうかを決めます。

    このようにして他のAPIに対しても正解データを大量に生成することが出します。下図は質疑応答(QA)以外にも計算機(Calculator)、機械翻訳(MT)、Wiki検索(WikiSearch)などで正解データを自動生成した例です。

    画像
    論文の図1

    コアの言語モデル能力の維持

    ツールフォーマーの訓練がコアの言語モデリング能力も犠牲にしないのは事前学習で使ったのと同じデータセットをもとにしてAPI呼び出しを含めた訓練データセットを作るからです。

    また、訓練の仕方も通常の言語モデルの訓練と同じなので事前学習で得たコアの言語モデリング能力を失うことがないと論文では述べられており、また実験結果などから性能が向上していることがわかっています。

    ツールフォーマーの実験結果

    GPT-3との比較

    ツールフォーマーとGPT-3の性能比較が行われました。以下のタスクではツールフォーマーの性能が上でした。

    • Wikipdeia検索などで事実を必要とするタスク

    • 計算を必要とするタスク

    • 日付や時間に関する情報を必要とするタスク

    • 複数言語を含むタスク

    ただし、質疑応答のタスクではGPT-3の方が性能が上でした。Metaの研究者によるとWikipediaの検索エンジンの回答の質があまり良くなかった為と考えられています。それでもGPT-Jより性能は向上しています。

    復習言語を含んだ質疑応答

    なお、複数言語を含んだ質疑応答タスクではツールフォーマーはGPT-3に対して圧勝でした。これはGPT-3が多言語のタスクにおいて英語で回答するように促されても英語で答えないことが多かったためで、そもそもGPT-3がそのようなタスク対してよく訓練されていないことが原因とされています。

    しかし、複数言語を含んだ質疑応答タスクではGPT-Jもツールフォーマー並みの性能を発揮しており、ベースの言語モデルの事前学習の違いによるものと考えられています。よってこの実験ではツールフォーマーの外部APIアクセスによる優位性は認められませんでした。

    GPT-Jとの比較

    もとのGPT-Jと比べて言語モデルの性能が落ちていないかのテストの結果として両方の性能はほぼ同じであることがわかりました。これは同じ訓練のデータセットで言語モデルの訓練を行っているので当然の結果でもあります。

    スケーリングの法則

    言語モデルはパラメータの数を増やすほど性能が良くなる傾向があります。これをスケーリングの法則(Scaling Law)と呼びます。

    ツールフォーマーの手法を異なるGPT-2モデルのバージョンに適用してその性能をは測りました。下図はその結果を表しています。

    画像
    論文の図4
    • 青の線はツールフォーマーのAPI呼び出しを使用した場合の性能です。

    • オレンジの線はAPIの呼び出しを使わない場合の結果です。

    • 赤の点線はGPT-3です。

    API機能を使わなくともスケーリングの法則は成り立っていますが、API機能を使わないとGPT-3を超える性能は出ないのがわかります。また、質疑応答に関してはGPT-3の性能を上まることはないのは他の実験結果とも一致しています。

    ツールフォーマーの今後

    ツールフォーマーにもいくつかの課題があります。

    • 異なるAPIを組み合わせて使用できない。つまり、あるツールAPIの出力を別のツールAPIの入力として使用することができません。これは、各ツールの API 呼び出しが個別に実行されるためです。

    • 対話的にツールを使用できません。 例えば、検索エンジンからの何百もの異なる結果を参照して、検索クエリを絞り込むことはできません。

    • API を呼び出すかどうかを決定する際に、入力の正確な表現に敏感になることがよくあります。プロンプトに依存してAPIの呼び出しを行うかどうか決めるので訓練中に見たことのないプロンプトのパターンに対応できない。

    • API 呼び出しを行うかどうかを決定する際に、API 呼び出しを行うことで発生するツールに依存する計算コストを考慮しません。APIの呼び出しを多く行うと文章生成が遅くなるし、仮に金銭的なコストがかかる場合などでは問題になる。

    上記の制限などがあり、ツールフォーマーは完璧ではありません。もちろん完璧なモデルなんてありませんが、まだ成長の余地があるということです。

    しかし、ツールフォーマーは良いスタートを切ったと言えるでしょう。GPT-JはGPT-3よりずっと少ないパラメータ数ですが、ゼロショット性能が大幅に向上し、さまざまな下流タスクでGPT-3よりも優れた結果を生み出しました。

    より多くのツールを使えるようにして訓練データセットをもっと多様にしていけばさらなる性能向上が見込めるでしょう。

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ