アテンションタイル化（あてんしょんたいるか）
最終更新：2026/4/28
アテンションタイル化とは、深層学習モデルにおけるアテンション機構において、特徴マップを小さなタイルに分割し、各タイル内の情報を集約する手法である。
ポイント
アテンションタイル化は、計算コストを削減しつつ、長距離依存関係を捉えることを可能にする。特に画像認識タスクにおいて有効性が示されている。
アテンションタイル化の概要
アテンションタイル化は、Transformerモデルなどで用いられるアテンション機構の効率化を目的とした手法です。従来のグローバルアテンションでは、入力シーケンス全体に対してアテンションを計算する必要があり、シーケンス長が長くなるにつれて計算量が急増するという問題がありました。アテンションタイル化では、入力特徴マップを固定サイズのタイルに分割し、各タイル内でアテンションを計算することで、計算量を削減します。
アテンションタイル化の仕組み
- タイル分割: 入力特徴マップを、例えば8x8ピクセルのタイルに分割します。
- タイル内アテンション: 各タイル内でアテンションを計算します。これにより、タイル内の局所的な依存関係を捉えることができます。
- タイル間アテンション (オプション): 必要に応じて、タイル間でもアテンションを計算します。これにより、タイル間の長距離依存関係を捉えることができます。
- 集約: 各タイルのアテンション結果を集約し、最終的な出力を生成します。
アテンションタイル化の利点
- 計算コストの削減: グローバルアテンションと比較して、計算量を大幅に削減できます。
- メモリ効率の向上: 計算量の削減に伴い、メモリ使用量も削減できます。
- 長距離依存関係の捉えやすさ: タイル間アテンションを導入することで、長距離依存関係を捉えることができます。