ALiBiアテンション（ありびあてんしょん）
最終更新：2026/4/28
ALiBiアテンションは、Transformerモデルにおける位置情報を符号化する手法の一つであり、相対的な位置関係に基づいて注意重みを調整する。
別名・同義語 線形バイアスアテンション
ポイント
ALiBiアテンションは、学習時に見られないシーケンス長への外挿性能に優れる点が特徴である。位置埋め込みを使用しないため、モデルの汎化性能向上に貢献する。
ALiBiアテンションとは
ALiBiアテンション（Attention with Linear Biases）は、2021年に発表されたTransformerモデルにおける位置情報を扱うための手法です。従来のTransformerモデルでは、位置情報を埋め込むために位置埋め込みベクトルが用いられていましたが、ALiBiアテンションでは、相対的な位置関係に基づいて注意重みを調整することで位置情報を符号化します。
ALiBiアテンションの仕組み
ALiBiアテンションでは、クエリとキーの間の距離に応じてバイアス項を注意重みに加算します。このバイアス項は、距離が遠くなるほど負の値が大きくなるように線形に減少します。これにより、モデルは近い位置にあるトークンに注意を払いやすくなり、位置情報を学習することができます。
具体的には、注意重みの計算式は以下のようになります。
Attention(Q, K, V) = softmax((Q * K^T + B) / sqrt(d_k)) * V
ここで、BはALiBiバイアス項であり、d_kはキーベクトルの次元数です。
ALiBiアテンションの利点
ALiBiアテンションには、以下の利点があります。
- 外挿性能の向上: 学習時に見られなかったシーケンス長に対しても、高い性能を維持することができます。
- 汎化性能の向上: 位置埋め込みを使用しないため、モデルの汎化性能が向上します。
- 計算効率の向上: 位置埋め込みの学習が不要になるため、計算効率が向上します。
ALiBiアテンションの応用
ALiBiアテンションは、様々な自然言語処理タスクに応用されています。例えば、機械翻訳、テキスト要約、質問応答などです。