
RoPE(Rotary Positional Embedding)とは
論文「RoFormer : Enhanced Transformer With Rotary Position Embedding」(2021年)では、位置埋め込みを回転として表現することで、Transformer(トランスフォーマー)の性能を向上させる手法が提案されました。
このアプローチはその後、Llamaをはじめとする大規模言語モデルにも採用され、現在では有力な位置エンコーディングの手法の一つとされています。
本記事では、この手法 RoPE(Rotary Positional Embedding)について、背景からその仕組みをわかりやすく紹介していきます。
まずは前提として、Transformerにおける「位置エンコーディング」や「位置埋め込み」について、簡単におさらいし課題を見つけます。その後に、RoPEがそれをどう解決するのかを解説します。
絶対位置のエンコーディング
なぜTransformerでは位置の情報が必要なのか
まず、明示的な位置情報を必要としない再帰型ニューラルネットワーク(RNN)を考えてみましょう。

RNNでは、トークンは入力された順番に処理され、各ステップの出力が次の入力へと引き継がれることで、「時間的な文脈」が構築されます。その再帰的な構造によって、シーケンスの順序情報を自然に継続・保持できます。

はステップにおける入力
は一つ前のステップの隠れ状態
は次のステップに渡される
このように、順序の概念がモデルの構造に直接組み込まれているため、RNNでは位置情報を明示的に与える必要がありません。
ただし、この構造は逐次処理が前提となるため、並列処理に向かないという制約があります。
一方で、Transformerはまったく異なるアーキテクチャを採用しています。シーケンス内のすべてのトークン(埋め込みベクトル)を一括で処理するため、並列処理が可能という大きな利点があります。
この構造だけだと、Transformerはトークンの順序に関する情報を得ることができません。しかし、文の意味を理解するうえで、トークンの順番は極めて重要です。
位置情報が重要なのは、次の2つの文章の意味を比較するとよくわかります。
「犬が私を噛んだ」
「私が犬を噛んだ」
両方とも同じ単語で構成されていますが、意味はまったく異なります。この違いを理解するためには、単語の並び(=位置情報)が不可欠です。
では、Transformerでは、どのように位置情報を与えているのでしょうか?
トークン埋め込みに絶対位置を加算する方法
ここでは、Vaswaniら(2017年)によって提案された、オリジナルのTransformerにおける位置エンコーディング(Positional Encoding)について紹介します。
Transformerでは、各トークンはその意味や文脈を数値化した埋め込みベクトルとして表現されます。位置エンコーディングでは、トークンの位置情報も埋め込みと同じ次元数のベクトルとして表現し、それを埋め込みベクトルに加算します。
つまり、「意味・文脈のベクトル」と「位置のベクトル」を同じ空間で合成したものをモデルに入力します。
このアプローチにより、Transformerはトークンの並び順を認識しながら、文章の処理(理解)を行えるようになります。
例として、あるトークンのシーケンス内の位置をとします。シーケンスの長さをとすると、は0から始まりまでの値を取ります。また、各トークンの埋め込みベクトルの次元数をとします。
この位置エンコーディングでは、ベクトル内の要素を 2つずつのペアで扱い、それぞれに以下のように三角関数(sinとcos)を用いて値を計算します。
ここでは、からまでの整数です。
なお、この2つの値(sin, cos)は、同じ角度によって計算されています。これをと定義します。
これは、sinとcosで単位円上の座標を表現するようなものであり、各次元ごとに異なる角度で位置を表現していると捉えることができます。

分母に使われている定数「10000」は、次元のインデックスごとに位置エンコーディングの角度の周期を変化させるために用いられています。
この「10000」という値に特別な意味があるわけではありませんが、異なる次元(インデックス)間で十分な違いを生み出すためには、ある程度大きな値である必要があります。
このようにして、位置と次元のインデックスによって計算された各要素の値は、ベクトル全体としてトークンの位置を一意に表現しています。
また、この手法は、マルチヘッド・アテンションのために埋め込みベクトルが複数のヘッドに分割される場合でも有効です。位置情報はベクトル全体に対して加算されるため、各ヘッドに自然に引き継がれるかたちになります。
なお、次元のインデックスが増えると、角度が小さくなります。これは、角度の変化が緩やかになることを意味します。また、位置が大きいほど角度の変化が速くなります。
この関係性を図に可視化してみます。

これは、の設定で、各位置における各次元の位置エンコーディングの値を表示したものです。
色の違いに限界があるため、細かい変化までは判別できませんが、全体の傾向を読み取るには十分であり「ベクトル全体としてトークンの位置を一意に表現している」のがわかります。
まず、では、どの次元においても角度は0になります。したがって、エンコーディング値も固定され、すべての偶数次元が、奇数次元が になります。図で見ると、緑色(値0)と黄色(値1)が交互になっているのが確認できます。
各位置で、次元のインデックスに沿って、交互に値が変わるのは、sin と cos が交互になっているからです。
この位置を基点として、が増えるにつれて、角度の変化は急になり周期的な変動が顕著になっています。一方で、次元が増えるとほど、角度の変化は緩やかになり、エンコーディング値の変化もゆるやかになります。
この図を描くコードは以下になります。
import numpy as np
import matplotlib.pyplot as plt
def positional_encoding(n, d):
pos, i = np.meshgrid(
np.arange(n),
np.arange(0, d // 2),
indexing='ij',
) # (n, d // 2)
theta = pos / np.power(10000, (2 * i) / np.float32(d))
# 偶数次元に sin, 奇数次元に cos を配置
pe = np.zeros((n, d))
pe[:, 0::2] = np.sin(theta)
pe[:, 1::2] = np.cos(theta)
return pe
# nはシーケンスの長さ、dは埋め込み次元数
n = 32
d = 64
pe = positional_encoding(n, d) # 行は位置、列は次元
# 可視化
plt.figure(figsize=(8, 6))
plt.imshow(pe, aspect='auto', cmap='viridis')
plt.colorbar(label='Encoding Value')
plt.title("Positional Encoding")
plt.xlabel("Dimension Index")
plt.ylabel("Position Index")
plt.tight_layout()
plt.show()やを変えて異なる変化の具合を確かめるとよりイメージがわくかもしれません。
なお、位置エンコーディングに関しては、こちらでも詳しく解説しています。
位置エンコーディングの利点と課題
位置エンコーディングの値の行列は、あらかじめ計算して準備できるため計算コストが非常に低いという利点があります。
しかし、その一方で、学習時に使用されたシーケンス長を超えるような長文に対しては、位置エンコーディングの値が未知の範囲に入り、モデルがうまく位置の意味を捉えられなくなる可能性があります。
これは位置エンコーディングが「特定の位置を表現する値」として定義されていることに起因します。
モデルは、特定の位置(たとえば、、)に対応するベクトルを学習しています。その結果、学習済みの位置の相対的な関係性も把握していると考えられます。
しかし、学習時に見たことのない絶対位置に遭遇した場合、そのベクトルが既知の位置とどのような関係にあるかを推測するのは困難です。
絶対位置の「埋め込み」を学習する
三角関数を利用した固定された位置エンコーディングはではなく、位置情報そのものを学習する方法が「位置埋め込み」(Positional Embedding)です。
この手法では、学習データを通じて、タスクに最適化された位置表現を獲得できることが期待されます。
たとえば、言語の種類や文法構造によって、位置情報の重要性やそのパターンは異なる場合があります。そのような状況では、学習可能な埋め込みの方が、こうした違いを柔軟に捉える能力に優れていると考えられます。
また、固定的な周期関数では難しい、非周期的で複雑な位置関係を捉えられる可能性もあります。文の構造において「最初と最後の単語が特に重要」だったり、「特定の品詞に対する位置依存性が強い」といったパターンがあるならば、柔軟に学習できる埋め込みの方が適しているでしょう。
このような学習型の埋め込みは、学習コストこそ高くなるものの、学習後は事前に生成した位置埋め込み行列を使い回すことができるため、推論時のコストは低く抑えられます。
しかし、これらの利点は必ずしも明白ではありません。
実際、オリジナルのTransformer論文では、学習型の位置埋め込みを使用しても性能に大きな差は見られず、結果的に単純な三角関数ベースの位置エンコーディングが採用されました。
さらに、位置埋め込みもまた、絶対的な位置を学習するという点で、固定型エンコーディングと同様の課題を抱えています。
特に、未知の長さの入力や見たことのない位置に対しては、その位置に対応する埋め込みが存在しないため、適切に処理できない可能性があります。
このように、固定型・学習型のいずれの手法においても、「位置を絶対的な値として扱っている」という共通の限界があります。
こうした課題を克服するために提案されたのが、RoPE(Rotary Positional Embedding)です。
RoPE:相対位置の回転で表現
論文「RoFormer : Enhanced Transformer With Rotary Position Embedding」(2021年)では、位置情報を回転操作としてベクトルに埋め込むという新しいアプローチが提案されました。
これにより、Transformerにおいて相対的な位置関係を自然に表現できるようになり、従来の絶対位置の手法が抱えていた課題を解消することに成功しました。
相対位置を回転で表現するとは
従来の位置エンコーディングや位置埋め込みでも、三角関数(sin/cos)による周期性を利用しており、広い意味で「回転的な構造」を取り入れていました。そのおかげで、モデルは学習済みの範囲内においては、相対的な位置関係を捉えることが可能でした。
しかし、これらはあくまで「位置情報をベクトルに加算する」というアプローチに基づいています。
一方、RoPEでは「埋め込みベクトルを回転させる」手法です。位置ごとに定義された角度に従って、ベクトル空間上でペアとなる次元を回転変換することで、位置情報をベクトルの「向き」として埋め込みます。
なお、RoPEには位置「埋め込み」という名前がついていますが、実際には学習可能なベクトルを生成するものではなく、位置に基づく回転変換を用いる「エンコーディング方式」と捉えるのが適切です。
よって、学習と推論の両方に関して、事前に準備しておくことができます。
RoPE の数式表現(2次元での説明)
RoPEでは「偶数・奇数の次元ペアごとに回転をかける」ことで、トークンの位置情報をベクトルに埋め込みます。
まずは、直感的に理解しやすい2次元空間でその仕組みを説明します。トークンの埋め込みを2次元ベクトルとします。
RoPEはこれに以下のような回転行列(回転操作)を適用します。
よって、埋め込みベクトルは、次のように変換されます。
単純な例として、を考えると、回転操作によってがになります。つまり、反時計回りに90度回転しています。
この回転角は、トークンの位置に応じて定義されいます。
なぜ相対的な位置が学習されるのか
Transformerのアテンション機構では、シーケンス内のすべてのトークンの組み合わせに対して「クエリ」(Query)と「キー」(Key)のベクトル同士の内積を計算します。
なお、クエリとキーのベクトルは、各トークンの埋め込みベクトルに対して、それぞれ異なる重み行列(クエリ行列とキー行列)を用いた線形変換によって得られます。
したがって、実際には埋め込みベクトル同士の内積を直接計算するわけではありませんが、議論を簡単にするため、ここからは埋め込みベクトルに対する回転と内積という形で説明を進めます。クエリとキーについては後ほど改めて補足します。
RoPEでは、各トークンの埋め込みベクトルが、そのトークンの位置に応じた角度で回転されており、これはすでに見たように異なる位置ごとに異なる回転行列が適用されていることを意味します。
たとえば、2つの異なる位置とにあるトークンを考えると、それぞれのベクトルとは、角度とに従って、おのおの回転されます。
このとき、回転後のベクトルの内積は、次のように表されます。
この2つのベクトルの内積は、線形代数の性質により以下のように展開されます。
列ベクトル同士の内積は、一方を転置して行列積を計算します。また、回転行列を転置するのは、角度をマイナスした()と同じです。さらに、2つの回転操作は角度を足し合わせることと同じです。
つまり、回転されたベクトル同士の内積に現れるのは角度差(相対回転)です。
なお、実際には、アテンションのスコアはクエリとキーのベクトル同士の内積を使って計算されるため埋め込みベクトルが、クエリ行列とキー行列による線形変換を受けたあとで内積が計算されます。
このように、クエリとキーの線形変換の合成が内積の中に登場しており、厳密に言えば「回転差がそのまま内積に現れる」とは限りません。
それでも、RoPEではクエリ行列とキー行列が適切に学習されることにより、それらの前段階で各埋め込みベクトルに回転が適用されていても、相対的な位置情報が内積スコアに反映されることが確認されています。
よって、すべてのトークン間の関係を計算するアテンション機構を通して、モデルは回転操作を通じた相対的な位置の違いを学習できるようになります。このため、未知の長さのシーケンスに遭遇した場合でも、その中の位置関係を適切に処理することが可能になっています。
高次元での回転はどうなるのか?
回転操作による相対位置の埋め込みの原理がわかったので、2次元での回転の話を、より高次元の埋め込みベクトルへと拡張して考えてみます。
高次元においては、RoPEの回転を「2次元ごとのペア」に分けてそれぞれに適用します。つまり、埋め込みベクトルの次元数が大きくなっても、2次元ずつに分割して処理することで、2次元の場合と同様の構造を保ちつつ回転を適用することができます。
なお、位置エンコーディングと同様に、埋め込み次元は偶数とします。
これを、偶数と奇数のインデックスのペアとして分けて扱います。
それぞれのペアに対して、異なる回転角を適用します。
この回転角は次のように定義されます。
ここでです。
この式は、位置エンコーディングと同じ設計思想に基づいており、次元が上がるほど角度変化が緩やかになるように設計されています。
全体として、この回転操作は、高次元のベクトル空間を「小さな2次元の回転平面」に分割し、それぞれに異なる角度で回転をかける、という構造で捉えることができます。
このような設計により、RoPEは高次元においても相対的な位置関係を埋め込むことが可能になっています。
(終わり)