メインコンテンツへスキップ
見出し画像

GPT-2を読む⑤訓練データセット

    前回に引き続き、OpenAIが2019年に発表した論文「Language Models are Unsupervised Multitask Learners」(GPTのバージョン2)の「アプローチ」を読み進めます。

    GPT-2のアプローチの概要は分かりましたが、具体的にどのように訓練データセットを準備するのかがまだはっきりとしていません。

    GPT-2のアプローチのおさらい

    前回までの読み込みから、以下のGPT-2のアプローチが見えてきました。

    • 大きな容量を持つモデルを訓練する

    • 莫大なラベルなしテキストデータを利用する

    • さまざまなタスクを訓練シーケンスに含める

    • 言語モデリング(教師なし学習)を重視する

    そしてファインチューニングなしのゼロショットによる評価を行えるようなモデルを訓練するというものでした。

    これを頭の片隅に置いて、訓練に関する情報を論文から読んでいきましょう。

    コモン・クロール

    大規模で多様なデータセットの必要性

    セクション2.1「訓練データセット」は次のように始まります。

    これまでの多くの研究では、特定の分野のテキストに限定して言語モデルを訓練していました。例えば、ニュース記事(Jozefowicz et al., 2016)、Wikipedia(Merity et al., 2016)、フィクション書籍(Kiros et al., 2015)などです。私たちのアプローチは大規模で多様なデータセットを構築することを目指しています。それは多様な分野・背景からの自然言語の実例を集めるためです。

    Most prior work trained language models on a single domain of text, such as news articles (Jozefowicz et al., 2016), Wikipedia (Merity et al., 2016), or fiction books (Kiros et al., 2015). Our approach motivates building as large and diverse a dataset as possible in order to collect natural language demonstrations of tasks in as varied of domains and contexts as possible.

    Better language models and their implications | OpenAI

    これまでの研究では、ニュースやWikipediaなど特定のジャンルの文章だけを使ってモデルを訓練していましたが、この論文のアプローチでは出来るだけいろんな種類の文章を集めて、幅広い状況に対応できるモデルを作ろうとしています。さまざまな背景からのデータを使うことで、より多くのことを理解できるモデルを目指しているのが分かります。

    良質なテキストデータ収集の難しさ

    しかし、単純にインターネットから大量にテキストデータを集めれば良いわけでもありません。それなりのクオリティが悪いなら役に立ちません。

    有望な情報源として、コモン・クロール(Common Crawl)のようなウェブ・スクレイピングによる多様でほぼ無限のテキストがあります。これらのアーカイブは、現在の言語モデル用データセットよりもはるかに大規模ですが、データの質に大きな問題があります。Trinh & Le (2018) は、コモン・クロールを常識推論に関する研究で使用しましたが、多くの文書の内容がほとんど理解不能であると指摘しています。

    A promising source of diverse and nearly unlimited text is web scrapes such as Common Crawl. While these archives are many orders of magnitude larger than current language modeling datasets, they have significant data quality issues. Trinh & Le (2018) used Common Crawl in their work on commonsense reasoning but noted a large amount of documents “whose content are mostly unintelligible”.

    Better language models and their implications | OpenAI

    コモン・クロールは、インターネット上の膨大な量のウェブページを自動的に収集し整理して保存したものを公開しています。テキスト、画像、リンクなど、ウェブページの内容を幅広く含んでおり、様々な研究に利用され無料でアクセスできます。

    なお、ウェブ・スクレイピングは、ウェブサイトから自動的に情報を取得する技術です。Pythonなどで書かれたプログラムを使ってウェブページ(HTML)の内容を抽出しデータとして保存します。コモン・クロールはウェッブ・スクレイピングによってインターネット上の大量の情報を集めています。

    「scrape」という英語には、「擦こすり取る」とか「削けずり取る」といった意味があり、それがウェブページから必要な情報をプログラムで自動的に「抽出する」ことを表現しています。

    Trinh & Leの研究では、コモン・クロールのデータを使って常識推論の言語モデルを開発しました。しかし、データの中には質の低い文書が多数含まれており、多くの文書が無意味な内容であったと報告しています。

    これではモデルの学習に悪影響を及ぼすので、OpenAIの研究者たちも注意を払ってコモン・クロールの問題を確認しました。

    私たちもコモン・クロールを使った実験で、データの質に問題があることを確認しました。

    We observed similar data issues in our initial experiments with Common Crawl.

    Better language models and their implications | OpenAI

    タスク依存の選別方法

    それでも、Trinh & Leでは訓練データを増加させるためにある方法によってコモン・クロールを利用しています。これに関して、論文では次のように述べています。

    Trinh & Le (2018)では、良い結果を得るためにコモン・クロールの中からターゲットのデータセット(Winograd Schema Challenge)に出来るだけ似た文章だけを選ぶことにしました。これはその課題のためには効果的な方法ですが、私たちは事前にどんなタスクをするかを決めつけずにデータを使いたいと考えています。

    Trinh & Le (2018)’s best results were achieved using a small subsample of Common Crawl which included only documents most similar to their target dataset, the Winograd Schema Challenge. While this is a pragmatic approach to improve performance on a specific task, we want to avoid making assumptions about the tasks to be performed ahead of time.

    Better language models and their implications | OpenAI

    ウィノグラード・スキーマ・チャレンジ (Winograd Schema Challenge、WSC)は、2012年にトロント大学のコンピューター科学者であるヘクター・レベスクによって提案されました。このテストは、機械知能を評価するために、チューリング・テストの改良版として設計されたものです。

    つまり、Trinh & Leは「WSCの常識推論タスク」という特定のタスクにおけるモデルの性能向上を目指していたので、そのために訓練用データセットを増やす必要があり、コモン・クロールからデータを抽出して使用しました。その際に、質の低いデータが多いため、ターゲットタスクに最も近い文書のみを選んで使用するという方法を取ったということです。その意味では効果的な手法と言えます。

    これに対するGPT-2の論文の立場は、「私たちは事前にどんなタスクをするかを決めつけずにデータを使いたいと考えています」です。つまり、事前にタスクを限定せずにデータを使いたいという姿勢を示しています。

    要するに、特定のタスクに最適化するやり方に対して、より汎用的なアプローチを目指しているという意思表示になっています。

    それでもコモン・クロールのようなデータを利用しない手はありません。では、実際にどのようなアプローチを実践したのでしょうか。

    WebTextの選別アプローチ

    タスクに依存しない自動選別

    代わりに、私たちは文書の質に重点を置いた新しいウェブ・スクレイピングを行いました。そのために、人間によって整理や選別(キュレーションまたはフィルタリング)されたウェブページのみをスクレイピングしました。ウェブ全体を手動でフィルタリングするのは非常にコストがかかるため、出発点として、ソーシャルメディア・プラットフォームのRedditから、少なくとも3カルマを受け取った全ての外部リンクをスクレイピングしました。これは、他のユーザーがそのリンクを興味深い、教育的である、または単に面白いと感じたかどうかのヒューリスティックな指標と考えることができます。

    Instead, we created a new web scrape which emphasizes document quality. To do this we only scraped web pages which have been curated/filtered by humans. Manually filtering a full web scrape would be exceptionally expensive so as a starting point, we scraped all outbound links from Reddit, a social media platform, which received at least 3 karma. This can be thought of as a heuristic indicator for whether other users found the link interesting, educational, or just funny.

    Better language models and their implications | OpenAI

    つまり、ウェッブ・スクレイピングを行う前にある程度のデータ選別を行うというものです。

    その選別の手段として、Reddit(ユーザーが投稿したコンテンツに対して投票し合い、人気のある話題が上位に表示されるソーシャルメディアプラットフォーム)で3カルマ(「いいね」が3つ)の評価を受けた外部リンクのみを辿ってウェッブ・スクレイピングを行いました。

    そのような外部記事は「興味深い、教育的である、または単に面白いと感じた」わけなので少なくとも意味不明では無いはずです。

    また、ヒューリスティックとは、経験則などを使ってそれなりの効果が得ることを目指す手法です。厳密な理論や確実な方法に基づいた最適解を見つけるのが難しいあるいは時間がかかりすぎる場合などに用いられます。

    この手法では、特定のタスクに対する選別ではなく、それなりの意味があることがある程度は保証されているテキストデータを取得することを目指しています。

    新たなデータセットの誕生

    そして、それが新たなデータセットとしてまとめられました。

    生成されたデータセットであるWebTextには、これらの4500万リンクから抽出されたテキストが含まれています。HTMLのレスポンスからテキストを抽出するために、Dragnet(Peters & Lecocq, 2013)とNewspaperのコンテンツ抽出ツールを組み合わせて使用しました。

    The resulting dataset, WebText, contains the text subset of these 45 million links. To extract the text from HTML responses we use a combination of the Dragnet (Peters & Lecocq, 2013) and Newspaper 1 content extractors.

    Better language models and their implications | OpenAI

    OpenAIが独自に作成したデータセットであるWebTextには、4500万リンクから抽出されたテキストが含まれているとのことですが、redditには物菅井数のリンクが投稿されているのが伺えます。

    なお、HTMLのレスポンスとは、ウェブサーバーがユーザーのリクエストに応じて返すHTML形式のデータのことです。これは、ウェブページの内容を構成するテキスト、画像、リンクなどを含むコードで、ブラウザがこれを受け取り、ユーザーに表示するウェブページをレンダリングします。

    HTMLのレスポンスはテキストデータで構成されていますが、通信のための情報やページのレイアウトを示すタグなどが含まれているため、これらを排除して純粋なテキストに変換する必要があります。

    Pythonはこうした処理を得意とし、Beautiful Soupなどのツールが広く使われています。これらのツールを使って、HTMLから必要なテキストデータを効率的に抽出することが可能です。

    この論文では、「Dragnet(Peters & Lecocq, 2013)とNewspaperのコンテンツ抽出ツール」を併用してスクレイピングを行いました。

    OpenWebTextについて

    なお、redditでは人工知能の話題もよく議論されているので、私も検索に使ったりしますが、多くのリンクは投稿されただけで誰も反応を示さないのでかなりの量のリンクは除外されたと想像できます。それでも4500万の記事からテキストを抽出したという事実は、それだけの数のリンクを人々が評価してくれたおかげです。

    ただ皮肉なことに、OpenAIが作成したWebTextはオープンではありません。公開されておらず、外部の研究者や開発者が直接利用できません。

    しかし、WebTextを再現することを目指して作成されたオープンソースのデータセットとしてOpenWebTextがあります。オープンソースであり、誰でも利用可能です。

    データ収集方法についても、OpenWebTextはRedditから3カルマ以上のリンクを収集するWebTextの手法を再現しています。ただし、完全に同一ではない可能性はあります。

    それでも、WebTextにアクセスできない研究者や開発者が、OpenWebTextを使って類似の研究を行うことが可能です。

    データのクリーニングについて

    論文の続きを読みます。

    この論文で発表されている結果は、WebTextの初期の(未完成な)バージョンを使用しています。このバージョンには2017年12月以降に作成されたリンクは含まれておらず、重複排除といくつかのヒューリスティックなクリーニングを行った後、約800万件の文書で合計40GBのテキストが含まれています。

    All results presented in this paper use a preliminary version of WebText which does not include links created after Dec 2017 and which after de-duplication and some heuristic based cleaning contains slightly over 8 million documents for a total of 40 GB of text.

    Better language models and their implications | OpenAI

    初期の(未完成な)バージョンとは、まだ完成していない(最終的な形に至っていない)段階のWebTextのバージョンを指します。具体的には、2017年12月以降に作成されたリンクが含まれていません。

    さらに、収集した約4,500万のリンクからのデータに対して重複排除やクリーニングを行った結果、使える文章の数としては約800万件になったと書いてあります。

    「4500万リンクから抽出されたテキスト」と言っておいて、「未完成で約800万件」と言い直す理由がよく分かりませんが、それでも40GBのテキストなのでかなり大規模であることは確かです。

    まあ、AIの訓練ではデータのクリーニングが大変なのは世の常ですね。

    最初の段階で集めたデータは膨大でも、クリーニングによって実際に使えるデータが大幅に減るのは致し方ないでしょう。最終的なデータの質がモデルの性能に大きく影響するため、このようなクリーニング作業が(大変なプロセスですが)避けて通れない重要なことであると強調したかったのかもしれません。

    論文は、さらにこう続けます。

    WebTextからは、他のデータセットで一般的なデータソースであるWikipediaの文書をすべて削除しました。これは、訓練データとテスト評価タスクでデータが重複することで、分析が複雑になるのを避けるためです。

    We removed all Wikipedia documents from WebText since it is a common data source for other datasets and could complicate analysis due to overlapping training data with test evaluation tasks.

    Better language models and their implications | OpenAI

    評価タスクで使用されるテストデータにもWikipediaのテキストが含まれる可能性があるため、WebTextの訓練データセットからはWikipediaの文書をすべて削除したとのことです。

    もし訓練データとテストデータの間に重複があると、モデルの評価が正確に行えなくなり、結果がバイアスされる可能性があるため、このような処理が行われたのはとてもフェア(公正)です。

    次回予告

    次回はセクション2「アプローチ」を最後まで読みモデルへの入力表現について学びます。

    お楽しみに!

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ