調和勾配モデル（ちょうわこうばいもでる）
最終更新：2026/4/22
調和勾配モデルは、機械学習における最適化手法の一つで、勾配降下法の改良版である。
別名・同義語 ハーモニック勾配降下法HGD
ポイント
学習率を自動的に調整することで、勾配降下法よりも効率的に最適解へ収束することが期待される。
概要
調和勾配モデル（Harmonic Gradient Descent: HGD）は、2016年に発表された最適化アルゴリズムです。従来の勾配降下法やAdamなどの最適化手法と比較して、特に非凸な損失関数を持つ問題において、より高速かつ安定した学習を可能にすることが報告されています。
原理
調和勾配モデルは、勾配の大きさに応じて学習率を動的に調整します。具体的には、勾配のノルム（大きさ）が小さい場合は学習率を大きくし、勾配のノルムが大きい場合は学習率を小さくすることで、学習の安定性を高めています。この調整は、調和級数に基づいた関数を用いて行われます。
数学的表現
パラメータθの更新式は以下のようになります。
v_{t+1} = βv_t + η∇L(θ_t) θ_{t+1} = θ_t - α / (√v_{t+1} + ε) * v_{t+1}
ここで、
- v_t: 過去の勾配の二乗和
- η: 学習率
- ∇L(θ_t): 損失関数L(θ)の勾配
- α: 調和勾配モデル固有のパラメータ
- ε: ゼロ除算を防ぐための微小な値
- β: 過去の勾配の減衰率
特徴
- 高速な収束: 非凸な問題において、従来の勾配降下法よりも高速に収束することが期待できます。
- 安定した学習: 学習率の自動調整により、学習が発散するリスクを低減できます。
- パラメータ調整の容易さ: 従来の勾配降下法と比較して、パラメータ調整が容易です。