メインコンテンツへスキップ
見出し画像

BLEUとは

    機械翻訳(Machine Translation)の評価をする指標としてBLEUというものがあります。言語モデルに関連する論文などを読むとよく出てくるのですが、どのような指標なのでしょうか。

    今回の記事では、こちらの情報をもとにBLEUの仕組みについて解説します。

    BLEUのアプローチ

    BLEU誕生の理由

    大量の機械翻訳を熟練した専門家が評価する場合、完了までに数日から場合によっては数か月かかる場合があります。 これはお金と時間のかかるプロセスです。

    そこで2002年に発表された上述の論文は、自動で機械翻訳を評価する方法を提案しました。その方法による評価は、人間が行う評価とよく相関するようになっています。

    自動なので専門家を雇う必要もなく、結果もすぐに出ます。つまり、 安くて速いです。

    論文では、その手法をBLEU(Bi-Lingual Evaluation Understudy、バイリンガル評価代行)と呼んでいます。

    二つの概念

    BLEUにおいて中心となる考え方は、「良質な機械翻訳は人間による翻訳に近いものであるべきだ」ということです。

    そこで、彼らは参考とするための翻訳(参考翻訳)の例をたくさん集めたデータセット(コーパス)を作成しました。また、機械翻訳と参考翻訳とを比べるための計算方法を定義しました。よって、品質の判断を数値で行うことが可能となりました。

    BLEUでは、次の二つの概念が登場します。

    • 修正されたN-グラム精度(Modified n-gram Precision)

    • 短さのペナルティ(Brevity Penalty)

    まずは上記二つの概念を解説し、その後にBLEUの評価値の計算式を説明します。最後に、PythonによるBLEUを使った簡単な例も紹介します。

    修正された N-グラム精度

    機械翻訳と参考翻訳

    私たち人間が翻訳を行うとき、与えられた原文に対して、何通りもの翻訳を行うことができます。

    その理由の一つとして、世の中にはさまざまな同義語が存在することが挙げられます。そのため、翻訳文によって単語の選択が異なる可能性があります。

    さらに、 翻訳文の中の単語の順序を多少変更しても同じ意味になることがあります。その場合、多少の微妙なニュアンスの違いこそあれ、どれももっともらしい翻訳となりえます。

    このように有効な翻訳がたくさんあることを考慮すると、一つの正解文に対して一語一句を一致させるように言語モデルを訓練することは推奨できません。

    むしろ必要なのは直接の正解を求めるのではなく、良い機械翻訳と悪い機械翻訳を区別することになります。

    そこで、参考になる翻訳文を複数用意して比較するというアイデアが生まれました。

    この手法はある意味、良い翻訳にはさまざまな可能性があることを逆手にとっています。機械翻訳が良い翻訳であるならば、複数の参考翻訳と単語やフレーズが共有されているはずだからです。これで、一つの正解翻訳に縛られることもありません。

    また、悪い翻訳は参考翻訳が複数あったとしても共通点が少ないはずです。

    こう考えると、参考翻訳と共通点が多いことは、優れた翻訳に対する必要条件だと捉えることができます。

    例えば、ある言語の原文を機械翻訳が次の英語の文に翻訳したとします。

    機械翻訳1:A cat sat on the mat.

    英語で「猫がマットの上に座っていました」という意味ですが、参考翻訳として次の二つがあるとします。

    参考翻訳1:The cat is on the mat.

    参考翻訳2:There is a cat on the mat.

    機械翻訳1は、「a cat」が参考翻訳2と一致しています。また、「on the mat」が参考翻訳1と2の両方で一致しています。

    ただし、ここで疑問が生じます。比較の対象として一つの単語や二つ以上のものが考えられます。まずは、この点を整理しましょう。

    N-グラム

    一致する単語(トークン)やフレーズなどを比べる際に、N-グラムを考えます。Nとは一致する一連のトークンの数を意味しています。

    なお、トークンいくつ連なっているかによってN-グラムには異なる呼び方があります。具体的には、次のような名前がついています。

    • ユニグラム(uni-gram):一致するのが一つのトークンだけ

    • バイグラム(bi-gram):「a cat」のように二つ連なっているもの

    • トリグラム(tri-gram):「on the mat」のように三つ連なっている

    • N-グラム(n-gram):いくつの連なりでも使える一般的な呼び方。

    前述の例では、機械翻訳1と参考翻訳1と2の間に、「a cat」というバイグラムや「on the mat」というトリグラムの一致がみられます。

    このようにユニグラム、バイグラム、トリグラムなどで参考翻訳と比較し共通する数を数えて、最終的に一つの評価値にまとめることになります。

    悪い翻訳

    今度は、悪い翻訳の例を見てみましょう。

    仮に、同じ原文に対して機械翻訳2が次の出力を生成するとします。

    機械翻訳2:Cats stay in the living room.

    ユニグラム、バイグラム、トリグラムで一致する数を調べると、機械翻訳2が機械翻訳1よりも悪い翻訳であると言えます。なぜなら、機械翻訳1の方が機械翻訳2よりも参考翻訳と一致するユニグラム、バイグラム、トリグラムが多いからです。

    このように、さまざまなN-グラムで一致する数に基づいて良い翻訳と悪い翻訳を区別することが可能です。しかし、問題点もあります。

    一致の制限

    上述の評価方法は単純で理解しやすいのですが、これをそのまま使うと問題が生じます。

    なぜなら、機械翻訳は評価を上げるためなら「一見すると合理的な」単語を過剰に生成する可能性があります。

    機械翻訳3:The cat the cat the cat the the cat cat.

    この機械翻訳3には、一致するユニグラムとバイグラムが多数あります。 ただし、一致する単語が過剰に生成されているだけなので、この翻訳は意味がありません。

    つまり、単純に一致するN-グラムを数えるだけの指標では欠陥のある言語モデルが高い評価を受ける可能性があります。

    したがって、機械翻訳のN-グラムですでに一致したものは、それ以後は無視する必要があります。

    次の例で具体的に説明します。ピリオドは無視します。

    機械翻訳1:A cat sat on the mat.

    参考翻訳1:The cat is on the mat.
    参考翻訳2:There is a cat on the mat.

    ユニグラムで一致する数を数えてみましょう。その際に、すでに一致したトークンは次回のマッチングからは除外します。

    「A cat sat on the mat」の「a」が参考翻訳2の「There is a cat on the mat」に一致しているので、これを1つと数えます。(大文字と小文字の区別はしていません)

    続けていくと次のようなマッチングが成立します。

    • 「A cat sat on the mat」と「There is a cat on the mat」

    • 「A cat sat on the mat」と「The cat is on the mat」

    • 「A cat sat on the mat」と「The cat is on the mat」

    • 「A cat sat on the mat」と「The cat is on the mat」

    • 「A cat sat on the mat」と「The cat is on the mat」

    そして、これ以上の一致はありません。よって「A cat sat on the mat」にある6個のトークンの内、5個が一致したことになります。

    よって、機械翻訳1が参考翻訳と一致するユニグラムの割合は、次のようになります。

    p1=56p_1 = \dfrac{5}{6}

    p1p_1はユニグラムによる精度(Precision)を意味します。

    なお、機械翻訳1の「on the mat」の「the」に関しては参考翻訳1の「on the mat」の「the」ではなく「The cat」の「the」とマッチングされています。このようにユニグラムだけだと文脈を考慮しないマッチングが起きやすくなっており、バイグラムやトリグラムなどを考慮する必要性があるのがわかります。

    この単純なマッチング手法による評価は方法として良さそうですが、さらに条件が必要となります。

    上限付き一致数

    参考翻訳の数が増えると一致できる数も増えてしまいます。機械翻訳3をもう一度見てみましょう。

    機械翻訳3:The cat the cat the cat the the cat cat.

    これに対して、5個の参考翻訳があったとします。その一つ一つに「the cat」が含まれたとしたらユニグラムでもバイグラムでも高い精度になってしまいます。

    もし、どの参考翻訳でも「cat」が1個しか登場しないのであれば、機械翻訳の出力に「cat」が2個以上登場するのは悪い翻訳である可能性が高いでしょう。

    これをより一般的に言うと、参考翻訳の文章で参照できるN-グラムの最大数(最大参照数)を一致できる数の上限とします。

    例えば、どの参考翻訳をとっても「the cat」が一回しか登場しない場合は、機械翻訳3のようにたくさんの「the cat」があったとしても、一度のマッチングしかカウントされません。

    このカウントの仕方を制限付き一致数と呼び、次のように定義します。

    上限付き一致数=min⁡(一致数,最大参照数)\text{上限付き一致数} = \min(\text{一致数}, \text{最大参照数})

    N-グラムの一致による精度を計算する時には、制限付きの一致数を使います。

    修正されたN-グラムの精度

    制限付き一致数を考慮してN-グラムの精度を計算したものを「修正されたN-グラムの精度」と呼びます。

    もう一度、機械翻訳3を見てみましょう。ユニグラムで数えるとマッチングできるのは3つだけです。

    機械翻訳3:The cat the cat the cat the the cat cat.

    参考翻訳1:The cat is on the mat.
    参考翻訳2:There is a cat on the mat.

    なぜなら、使える最大参照数をすでに参考翻訳1でマッチングさせているので参考翻訳2とマッチングさせることができないからです。

    これによって、修正されたユニグラムによる精度はp1=310p_1 = \frac{3}{10}となります。

    これと比較して、機械翻訳1に対する精度を計算します。

    機械翻訳1:A cat sat on the mat.

    参考翻訳1:The cat is on the mat.
    参考翻訳2:There is a cat on the mat.

    修正されたユニグラムによる精度はp1=56p_1 = \frac{5}{6}です。精度がより高くなっています。

    バイグラムでも評価してみましょう。この場合、機械翻訳1からのバイグラムは、「a cat」、「cat sat」、「sat on」、「on the」、「the mat」の5つとなります。

    よって、参考翻訳1と2と制限付きで一致するのは、「a cat」、「on the」、「the mat」と3つになるので、修正されたバイグラムによる精度はp2=35p_2 = \frac{3}{5}となります。

    BLEUでは、この修正されたN-グラム精度を異なるNについて計算したものをまとめて一つの代表値にします。

    なお以下では、必要がある場合のみ「修正された」と明言することにします。

    人間との比較

    論文では、N-グラム精度の有効性を実験評価しています。

    以下の図は、人間の翻訳と機械翻訳を127の翻訳文で評価し結果を比較したものです。この実験では、一つの原文に対して4つの参考翻訳を用意しています。

    画像
    論文の図1

    青は人間による翻訳の精度、紫は機械翻訳の精度を示します。 人間の翻訳者は、機械翻訳システムよりも高いN-グラム精度を達成しています。精度がユニグラムから 4-グラムになるほど、その違いはより明らかになります。

    良い翻訳とみなされるには、この精度がより高くなる必要があります。また、より上のN-グラムでの精度が高いことが望ましいことになります。

    BLEUの定義

    短さのペナルティ

    BLEUで使われるもう一つの概念は、「短さのペナルティ」(Brevity Penalty)です。

    これは短すぎる文章に対しては精度が低いとみなす、つまりペナルティを与える仕組みです。なぜ、そんな必要があるのかは、次の機械翻訳4を見ればわかります。

    機械翻訳4:The cat

    この場合、ユニグラムによる精度はp1=22=1p_1 = \frac{2}{2} = 1となり100%です。しかし、この翻訳は明らかに悪い翻訳です。

    そこで「短さのペナルティ」を次のように定義します。

    BP={1if c>re(1−rc)if c≤r\text{BP} = \begin{cases} 1 & \text{if } c > r \\ e^{(1-\frac{r}{c})} & \text{if } c \le r \end{cases}

    BPはBrevity Penaltyの略です。

    ccは機械翻訳のN-グラムの数です。ユニグラムならトークンの数だし、バイグラムならバイグラムの数になります。

    rrは、最も長さが近い参考翻訳のN-グラム数です。

    つまり、最も長さが近い参考翻訳よりも長い機械翻訳ではBP=1\text{BP}=1なので「短さのペナルティ」はありません。

    最も長さが近い参考翻訳よりも短い機械翻訳では、(1−rc)(1 - \frac{r}{c})が負の値になるのでe(1−rc)e^{(1-\frac{r}{c})}は、1より小さい正の値になります。機械翻訳がより短いほどこのBPの値は小さくなります。

    BLEUスコア

    これまで議論してきたことを全てまとめたものがBLEUスコアになります。

    BLEU=BP⋅exp⁡(∑n=1Nwnlog⁡pn)\text{BLEU} = \text{BP} \cdot \exp \left(\sum\limits_{n=1}^N w_n \log p_n \right)

    この計算では、n=1n=1からNNまでのN-グラム精度の合計を計算して幾何平均(geometric mean)を計算します。

    幾何平均とは、np1p2…pn^n\sqrt{p_1 p_2 \dots p_n}のようにn個の数値を掛け合わせたもののn乗根を計算します。これによってどの一つの精度が低くとも全体の精度が低くなるようになっています。

    なお、幾何平均は以下のように算術平均に変換することができます。

    exp⁡(∑n=1N1Nlog⁡pn)= exp⁡(∑n=1Nlog⁡pn1N)=exp⁡(log⁡p11N)exp⁡(log⁡p21N)…exp⁡(log⁡pN1N)= p11Np21N…pN1N= np1p2…pN\begin{aligned} \exp \left(\sum\limits_{n=1}^N \frac{1}{N} \log p_n \right) &= \exp \left(\sum\limits_{n=1}^N \log p_n^{\frac{1}{N}} \right) \\ &= \exp (\log p_1^{\frac{1}{N}}) \exp (\log p_2^{\frac{1}{N}}) \dots \exp (\log p_N^{\frac{1}{N}}) \\ &=\ p_1^{\frac{1}{N}} p_2^{\frac{1}{N}} \dots p_N^{\frac{1}{N}} \\ &=\ ^n\sqrt{p_1 p_2 \dots p_N} \end{aligned}

    BLEUでは、wnw_nとして異なるnnに対して重みを設定できるようにしていますが、デフォルトではwn=1Nw_n = \frac{1}{N}になっています。よって通常の幾何平均と同じであることがわかります。

    BLEUによる評価は自然対数log⁡\logを適用するとよりわかりやすくなります。

    log⁡BLEU=log⁡BP⋅exp⁡(∑n=1Nwnlog⁡pn)=log⁡BP+log⁡exp⁡(∑n=1Nwnlog⁡pn)=min⁡(1−rc,0)+∑n=1Nwnlog⁡pn\begin{aligned} \log \text{BLEU} &= \log \text{BP} \cdot \exp \left(\sum\limits_{n=1}^N w_n \log p_n\right) \\ &= \log \text{BP} + \log \exp \left(\sum\limits_{n=1}^N w_n \log p_n\right) \\ &= \min(1 - \frac{r}{c}, 0) + \sum\limits_{n=1}^N w_n \log p_n \end{aligned}

    「短さのペナルティ」の部分であるmin⁡(1−rc,0)\min(1 - \frac{r}{c}, 0)は0以下です。ccがrrと比較してより小さくなると、負の無限大に向かっていきます。これはBPの値が0に近づくのと同じです。

    また、pnp_nはN-グラム精度で、0から1の間の値になります。これも0に近づくほど、log⁡pn\log p_nが負の無限大に向かって小さくなります。

    画像

    よって短さのペナルティがある場合や、N-グラム精度が悪い場合は、全体的な値が負の無限大へと向かっていきます。

    よって悪い翻訳のBLEUスコアは0に近づき、良い翻訳のBLEUスコアは1に近づきます。

    PythonでBLEUを使ってみる

    PythonでBLEUスコアを使うのは簡単です。

    何らかのPython環境を作り、そこでNLTK(Natural Language Toolkit)をインストールしてください。

    pip install nltk

    以下のスクリプトを blue_score_test.py などといったファイルに保存して実行してください。

    from nltk.translate.bleu_score import sentence_bleu
    
    # 参考翻訳
    references = [
        "The cat is on the mat.",
        "There is a cat on the mat.",
    ]
    
    # 機械翻訳(MT)による出力
    MT_outputs = [
        "A cat sat on the mat.",
        "Cats stay in the living room.",
        "The cat the cat the cat the the cat cat.",
        "The cat",
    ]
    
    # 重みはデフォルトでは [0.25, 0.25, 0.25, 0.25] になっていますが、
    # 以下では明示的に指定しています。
    for MT_output in MT_outputs:
        bleu = sentence_bleu(references, MT_output, weights=[1/4]*4)
        print(f'{bleu:.04f}')

    次のような値が計算されました。

    0.7391
    0.2378
    0.3018
    0.1173

    1番目の翻訳のBLEUスコアが高く、その他のBLEUスコアが低いので予想通りになっています。

    BLEU使用上の注意点

    BLEUスコアを使用する場合、原文ごとの参考翻訳の数が多いほどスコアが高くなる傾向があります。これはマッチングできるケースが多くなる可能性が高くなるからです。よって、異なる参考翻訳数に基づいた2つのBLEUスコアを比較してはなりません。

    また、N-グラム精度が必ずしも機械翻訳の品質を反映するとは限らないことにも注意する必要があります。 たとえば、翻訳された文が実際には参考文よりも優れている場合は、一致しないN-グラムが使われている可能性が高くなり、BLEUスコアは低くなります。

    また、BLEUスコアではマッチングによる評価を行なっているので文脈から滲み出る意味などを捉えるのには向いていません。

    いずれにせよ、2002年に提案されたBLEUスコアは現在でもよく見かける翻訳モデルの評価方法の一つであります。

     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ