RoPE埋め込み（ろーぷまいこみ）

RoPE埋め込みとは

RoPE (Rotary Positional Embedding) 埋め込みは、Transformerモデルにおける位置情報を表現するための手法の一つです。従来の絶対位置エンコーディングとは異なり、RoPEは相対位置情報を符号化することに重点を置いています。これにより、長い系列長を持つデータに対しても、位置情報の劣化を抑制し、高い性能を維持することが可能になります。

RoPEの仕組み

RoPEの基本的なアイデアは、各トークンの埋め込みベクトルを、そのトークンの位置に応じて回転させることです。具体的には、トークンiとjの位置関係に応じて、それぞれの埋め込みベクトルを異なる角度で回転させます。この回転操作は、複素数を用いた回転行列によって実現されます。

相対位置エンコーディングであるため、トークン間の距離が離れるほど、回転角度が大きくなります。これにより、モデルはトークン間の相対的な位置関係を効果的に学習することができます。

RoPEの利点

RoPE埋め込みには、以下のような利点があります。

• 長い系列長への対応: 相対位置情報を符号化するため、系列長が長くなっても位置情報の劣化が少ない。
• 計算効率: 回転操作は比較的計算コストが低いため、モデル全体の計算効率を向上させることができる。
• 外挿性能: 学習時に見たことのない系列長に対しても、ある程度の性能を維持できる。

RoPEの応用

RoPE埋め込みは、大規模言語モデル (LLM) をはじめ、様々なTransformerベースのモデルで採用されています。特に、長いテキストを扱うタスクや、系列長が可変的なタスクにおいて、その効果を発揮します。

参考文献

• Su, J., et al. “RoPE: Rotary Positional Embeddings.” arXiv preprint arXiv:2104.09864 (2021).