メインコンテンツへスキップ
見出し画像

nats/tokenとは

    言語モデリングなどの損失の単位として「nats/token」と書かれることがあります。これはクロスエントロピー損失(交差エントロピー損失)の単位です。以下に詳細を解説します。

    nats/tokenとは

    まず、nats はクロスエントロピー損失で自然対数(ln⁡,log⁡e\ln, \log_e)を使っているところから来ています。また、/token は、損失をトークン数で割っています。よって、nats/token は1トークンあたりの損失を測定するための表記です。

    例えば、言語モデルの事前学習で、正解のシーケンスに含まれるトークン数がNNだとします。すると、クロスエントロピー損失は次のように計算されます。

    クロスエントロピー損失=−1N∑i=1Nlog⁡P(xi)\text{クロスエントロピー損失} = - \frac{1}{N} \sum\limits_{i=1}^N \log P(x_i)

    xix_i$ は $i$ 番目の正解トークンを意味します。よって、P(xi)P(x_i) はモデルが正解トークンxix_i を予測する確率です。条件となるトークンのシーケンスも明示するとP(xi∣x1,x2,…,xi−1)P(x_i | x_1, x_2, \ldots, x_{i-1})となります。

    確率は0から1の範囲で、これにマイナスと対数を適用しているのは、損失値の範囲は以下になります。

    • 正解のトークンを高い確率で予測するほど、損失は小さくなる。

    • 正解のトークンを低い確率で予測するほど、損失は大きくなる。

    log⁡1=0\log 1 = 0なので、損失の最低値は0。−log⁡0- \log 0は無限大に発散する。

    この式から分かるように対数log⁡\logが使われています。自然対数(natural logarithm、log⁡e\log_e)を想定していますが、そうであることを強調するためにln⁡\lnと表記することも多いです。

    Perplexityとの関係

    また、クロスエントロピー損失(nats/token)を使って、Perplexity は次のように計算されます。

    Perplexity=exp⁡(クロスエントロピー損失)\text{Perplexity} = \exp(\text{クロスエントロピー損失})

    これは、損失が小さい(モデルの予測精度が高い)ほど、Perplexityも低くなり、モデルの精度が高いことを意味します。

    (以上)


     
     
    「わかりやすく、具体的に」AIとサイエンスの情報を発信中

    あなたへのおすすめ