
nats/tokenとは
言語モデリングなどの損失の単位として「nats/token」と書かれることがあります。これはクロスエントロピー損失(交差エントロピー損失)の単位です。以下に詳細を解説します。
nats/tokenとは
まず、nats はクロスエントロピー損失で自然対数()を使っているところから来ています。また、/token は、損失をトークン数で割っています。よって、nats/token は1トークンあたりの損失を測定するための表記です。
例えば、言語モデルの事前学習で、正解のシーケンスに含まれるトークン数がだとします。すると、クロスエントロピー損失は次のように計算されます。
$ は $i$ 番目の正解トークンを意味します。よって、 はモデルが正解トークン を予測する確率です。条件となるトークンのシーケンスも明示するととなります。
確率は0から1の範囲で、これにマイナスと対数を適用しているのは、損失値の範囲は以下になります。
正解のトークンを高い確率で予測するほど、損失は小さくなる。
正解のトークンを低い確率で予測するほど、損失は大きくなる。
なので、損失の最低値は0。は無限大に発散する。
この式から分かるように対数が使われています。自然対数(natural logarithm、)を想定していますが、そうであることを強調するためにと表記することも多いです。
Perplexityとの関係
また、クロスエントロピー損失(nats/token)を使って、Perplexity は次のように計算されます。
これは、損失が小さい(モデルの予測精度が高い)ほど、Perplexityも低くなり、モデルの精度が高いことを意味します。
(以上)