
言語AIの進化史⑲BERT(事前学習と基盤モデルの台頭)
前回は、トランスフォーマーを従来の技術の延長線上に位置する進化的なモデルとして捉えることで理解を深めました。元来のRNNベースのエンコーダ・デコーダ型の機械翻訳モデルからのアイデアを引き継ぎつつ、再起構造(RNNの部分)を自己アテンション機構によって置き換えることで弱点を克服し革新をもたらしました。
よって、トランスフォーマーもエンコーダ・デコーダ型の機械翻訳モデルであり、翻訳というタスクを通して教師あり学習によって訓練されていました。そして、そのためには大量のラベル有りのデータ(翻訳の例)を準備する必要がありました。
その一方で、トランスフォーマーのエンコーダとデコーダを独立した言語モデルとして利用することが考案されました。なぜならば、エンコーダは入力文章の特徴(文脈)を捉えることに優れ、またデコーダは強力な文章生成能力を持つため、翻訳以外の自然言語タスクに応用することが可能だからです。
そこで、機械翻訳という特定のタスクから切り離し、エンコーダやデコーダに対して事前学習が行われるようになりました。事前学習は自己教師あり学習を採用しており、ラベル無しのデータを利用できるためにインターネットなどにある大量のテキストデータによる学習が可能となりました。
このように訓練された事前学習モデルは、ファインチューニング(微調整)を行うことでさまざまなタスクに対応することができます。そのため、これらのモデルは基盤モデルと呼ばれました。
その代表として、トランスフォーマーが発表された翌年(2018年)に登場したBERTとGPTがあります。今回は、BERTにフォーカスします。
BERTの仕組み
双方向エンコーダー表現とは
Googleが開発したBERTの名前は、Bidirectional Encoder Representations from Transformers(トランスフォーマーからの双方向エンコーダー表現)から来ています。
ここでの「双方向」とは、トランスフォーマーのエンコーダがシーケンス全体の文脈を同時に考慮することを指します。これは、トランスフォーマーのデコーダがシーケンスの流れに沿って、左から右へ逐次的に文脈を構築する仕組みと対比できます。
以下は、BERTの論文からの引用です。
学術論文において、双方向トランスフォーマーは「トランスフォーマー・エンコーダ」として言及されることが多く、一方、「左側の文脈」のみを利用するバージョンは「トランスフォーマー・デコーダ」として言及されることが多いです。これは、テキスト生成に使用できるためです。
We note that in the literature the bidirectional Transformer is often referred to as a “Transformer encoder” while the left-context-only version is referred to as a “Transformer decoder” since it can be used for text generation.
そして、BERTの名前は「トランスフォーマーからの双方向エンコーダー表現」から来ています。つまり、BERTはトランスフォーマーのエンコーダをベースにしたモデルです。
なお、GNMTのエンコーダの最下層で使われた双方向RNNとも比較することができます。双方向RNNは、文章全体からの情報を再帰構造を維持したまま各トークン(埋め込みベクトル)へ取り入れるための工夫です。一方で、トランスフォーマーでは自己アテンション機構によって文章全体の情報をより直接的に各トークンへと取り込んでいます。
BERTの事前学習
BERTの事前学習では、マスク化言語モデルと次文予測が取り入れられました。
マスク化言語モデル(Masked Language Model、MLM):入力文の一部の単語をランダムに隠し、そのマスクされた単語を予測するタスクによる訓練。文中の他の単語との関係性を学習し、文脈理解を深める。
次文予測(Next Sentence Prediction、NSP):2つの文が連続しているかどうかを判定するタスクによる訓練。文と文の関係性や文脈の流れを理解する能力を向上させる。
なお、NSPの入力として、特別なトークン[CLS]と[SEP]が使われ、入力シーケンスは次のような形式にフォーマットされます。
[CLS] 文1 [SEP] 文2 [SEP][CLS]トークン
このトークン(埋め込みベクトル)の値が、NSPタスクの分類に用いられます。モデルは訓練を通して、文全体の意味をここに表現するようになります。[SEP]トークン
文の終わりや区切るために挿入されます。モデルは訓練を通して、どこで文が終わり、次の文が始まるかを認識できるようになります。
なお、NSPタスクでは、[CLS]トークンの出力を全結合層に渡し、文1と文2が連続しているかどうかの分類(確率)を予測します。このような訓練を行うことで、分類に必要な情報(文脈)を[CLS]トークンの位置の埋め込みベクトルに集約できるようになります。よって、BERTは文章の関係性や文脈の流れを理解する能力を獲得します。
つまり、BERTにおける[CLS]トークンは、入力シーケンスの先頭に追加される特別なトークンであり、文全体の意味を要約して表現する役割を担います。このトークンは、BERTのエンコーダによって他のトークンと一緒に処理され、シーケンス全体の文脈情報を統合したベクトルとして最終的に出力されます。
BERTの[CLS]トークンは、RNN型言語モデルにおける最終の隠れ状態と似た役割を果たしています。つまり、文章全体の情報(文脈)を表現(圧縮、抽出)するために使われます。ただし、BERTでは自己アテンション機構によって文章全体の情報を取り込みます。
文章全体からの情報が[CLS]の位置の埋め込みベクトルに集約され、これを利用することで、異なるタスクに適応することができます。
BERTの入力表現
BERTはトランスフォーマーと同様に位置の情報を埋め込みに含める必要があります。ただし、オリジナルのトランスフォーマーとは異なり、位置情報のエンコーディング自体を学習します。
さらに、文レベル(文Aか文Bか)の区別に使うためのセグメント(区分、分割)埋め込みを使用します。セグメント埋め込みはその他の埋め込みベクトルと同様に学習によって形成された分散表現です。

上図の一番したの灰色の箱は位置の埋め込みで、各位置は異なるベクトル値になります。その上の緑の箱に入ったとがセグメントを表現した埋め込みで、これは文章ごとのベクトル値になります。さらに上の黄色の箱がトークンの埋め込みです。
よって、最終的な入力の埋め込みベクトルは、「トークン」+「位置」+「セグメント」と全ての埋め込みベクトルが加算されたものになります。
BERTのファインチューニング
事前学習されたBERTは特定の自然言語処理(NLP)タスクに合わせてファインチューニングされます。この段階では、タスク固有のラベル有りデータを用いてモデルを最適化します。
[CLS]トークンの位置にある埋め込みベクトルへ抽出される特徴表現(文脈情報)を利用して、特定のタスクに最適化します。タスクごとにファインチューニング(微調整)することで、感情分析、トピック分類、質問応答など、幅広い自然言語処理タスクで効果的に利用できるようになります。
例えば、自然言語推論(Natural Language Inference、NLI)のようなペア分類タスクでは、NSPと同様に、2つの文を[SEP]トークンで区切り、先頭につけた[CLS]からの出力を利用して、その関係性「含意、矛盾、中立」を分類します。
含意: 2つ目の文が1つ目の文から論理的に導かれる。
矛盾: 2つ目の文が1つ目の文と矛盾する。
中立: 2つ目の文が1つ目の文と無関係で、矛盾も含意もない。
また、質問応答タスクでは、質問文とコンテキスト(回答を含む文章)を入力として与え、回答部分を特定します。
フォーマット:
[CLS] 質問文 [SEP] コンテキスト [SEP]
例:
[CLS] 猫はこたつで丸くなっています。[SEP]猫はどこで丸くなっていますか?[SEP]BERTに2つの分類ヘッド(分類をする層)を付け、それぞれがコンテキスト内で回答の開始位置と終了位置を予測します。各分類ヘッドは、コンテキスト内の各トークンに対してスコアを計算します。最もスコアが高いトークンの範囲が回答として選択されます。

感情分析やトピック分類などは、一文だけなので[SEP]トークンは必ずしも必要ではなさそうです。しかし、一文でも最後に[SEP]トークンをつけてファインチューニングした方が結果として性能が良いという意見もあるようです。これは、事前学習の時となるべく同じ形式を保つためと考えられています。
また、Hugging FaceのBERTの説明ページを見ると、一文だけのタスクでも[SEP]を最後につけています。
これらの手法により、BERTは文脈の双方向理解を実現し、多様なNLPタスクで高い性能を発揮しました。
BERTの派生モデル
Googleは、BERTをオープンソースで公開しました。
事前学習済みモデル(英語版、マルチリンガル版など)。
トレーニングコード(TensorFlow版のBERT実装)。
詳細な論文(BERTのアーキテクチャや学習方法を詳述)。
このことも手伝って他の企業はBERTを独自に改良したバージョンを開発しました。よって、BERTにはたくさんの派生モデルがあります。
性能向上、軽量化、効率化
BERTの性能向上、軽量化、効率化を目指した派生バージョンが登場しました。
RoBERTa (2019):Facebookが提案。より大量のデータでトレーニング。
XLM-RoBERTa (2019):Facebookが多言語対応のRoBERTaを発表。
ALBERT (2019):Googleが提案。軽量化と効率化を追求。
DistilBERT (2019):Hugging Faceが発表。知識蒸留で小型化。
ELECTRA (2020):Googleが提案。効率的な学習プロセスを導入。
特定分野、言語など
他にも用途や言語に特化したBERTの派生バージョンがたくさんあります。
BioBERT (2019):生物医学テキスト用に韓国のNAVERが発表。
ClinicalBERT (2019):臨床データ向けにMITが開発。
SciBERT (2019):科学・技術文書用にAllen Instituteが発表。
FinBERT (2019):金融分野向けにIMFが発表。
TinyBERT (2019):Huaweiが提案。小型・軽量モデル。
SpanBERT (2019):文中のスパンを意識したBERTの改良版。
CamemBERT (2019):フランス語対応のBERT。InriaとFacebookが発表。
AraBERT (2019):アラビア語用BERT。KUIS AI Centerが開発。
KoBERT (2019):韓国語対応BERT。NAVERが発表。
BERTje (2019):オランダ語対応BERT。オランダの研究者が開発。
BERTweet (2020):ソーシャルメディア向けに提案。
LegalBERT (2020):法律文書分析用モデル。
BERTは衰退したか?
2020年以降は、BERT自体の研究開発は成熟期に入ったように見えます。
BERTが登場した当初は、自然言語処理の様々なタスクにおいて従来手法を大きく上回る性能を示し、大きな注目を集めました。その後、BERTの改良や新たなモデルの登場しましたが、GLUEやSQuADなどのベンチマークで性能の向上が徐々に緩やかになっていきました。
また、軽量化や効率化にも限界があり、その手の研究も下火になったのでしょう。
一方で、さらに巨大なデータセットと計算資源を用いた大規模言語モデル(GPT-3など)が登場し、幅広い用途で優れた性能を持つようになったことで、おそらくBERT自体の研究開発の優先度が下がったと考えられます。さらに、ChatGPTの登場などからBERTは影を潜めました。
また、近年では、テキストだけでなく、マルチモーダル(画像・音声・テキストの統合)の研究が大きく取り上げられています。BERTはどちらかというと言語理解を目的としているので、ここでもトレンドからは外れています。
ただし、BERTの実用性や応用可能性の高さから、現在でも分野によっては利用されているようです。特定のタスクに絞ってファインチューニングすることによって現在の大規模言語モデルほど広範囲な訓練データを必要としないので分類などのタスクでは有効なモデルです。
scikit-learnが古典的な機械学習ツールとして現在でもデータ分析などで使われているように、BERTもHugging Faceなどのライブラリから事前学習済みモデルが利用可能であり目的に合うならば便利です。
次回予告
次回は、トランスフォーマーのデコーダをベースとしたGPTを紹介します。BERTが言語理解に焦点を当てたモデルだとすると、GPTは言語生成の発展に大きく貢献したモデルです。
お楽しみに!