アテンション機構（あてんしょんきこう）
最終更新：2026/4/25
アテンション機構は、ニューラルネットワークが入力データの中で重要な部分に焦点を当てることを可能にする仕組みである。
別名・同義語 注意機構Attention Mechanism
ポイント
特に自然言語処理や画像認識の分野で、入力シーケンスの各要素間の関連性を学習し、より効果的な表現を獲得するために用いられる。
アテンション機構とは
アテンション機構（Attention Mechanism）は、深層学習モデル、特にシーケンス間の関係性を扱う際に重要な役割を果たす技術です。従来のニューラルネットワークでは、入力シーケンス全体を固定長のベクトルに圧縮して処理するため、長いシーケンスの場合、情報が失われやすいという問題がありました。アテンション機構は、この問題を解決するために、入力シーケンスの各要素に対して「注意」の重みを割り当て、重要な要素に焦点を当てることで、より効果的な情報処理を可能にします。
アテンション機構の仕組み
アテンション機構は、主に以下の3つの要素で構成されます。
- クエリ (Query): 現在処理している要素を表すベクトル。
- キー (Key): 入力シーケンスの各要素を表すベクトル。
- バリュー (Value): 入力シーケンスの各要素が持つ情報。
アテンション機構は、クエリとキーの類似度を計算し、その結果に基づいて各バリューに重みを割り当てます。重みが大きいバリューほど、クエリに対して重要な情報を持つと判断され、最終的な出力に大きく影響します。
アテンション機構の種類
アテンション機構には、様々な種類が存在します。
- グローバルアテンション (Global Attention): 入力シーケンスのすべての要素を考慮して注意の重みを計算します。
- ローカルアテンション (Local Attention): 入力シーケンスの一部のみを考慮して注意の重みを計算します。
- セルフアテンション (Self-Attention): 入力シーケンス内の要素間の関係性を学習するために、同じシーケンスの要素をクエリ、キー、バリューとして使用します。Transformerモデルで広く利用されています。
アテンション機構の応用例
アテンション機構は、様々な分野で応用されています。