LoRA（ろら）
最終更新：2026/4/28
LoRAは、大規模言語モデルの学習において、既存のモデルを微調整するために用いられるパラメータ効率的な手法である。
別名・同義語 低ランク適応パラメータ効率的微調整
ポイント
LoRAは、モデル全体のパラメータを更新するのではなく、低ランク行列を追加学習することで、計算コストとストレージ要件を削減する。
LoRAとは
LoRA (Low-Rank Adaptation) は、大規模言語モデル (LLM) を特定のタスクやデータセットに適応させるためのパラメータ効率的な微調整手法です。従来のファインチューニングでは、モデル全体のパラメータを更新する必要があり、計算コストやストレージ要件が非常に高くなるという課題がありました。LoRAは、この課題を解決するために、既存のモデルの重みに低ランク行列を追加し、この低ランク行列のみを学習することで、パラメータ数を大幅に削減します。
LoRAの仕組み
LoRAは、各層の重み行列に2つの低ランク行列 (AとB) を並列に追加します。学習時には、元の重み行列は固定されたまま、追加された低ランク行列AとBのみが更新されます。これにより、学習対象のパラメータ数が大幅に削減され、計算コストとストレージ要件が軽減されます。低ランク行列のランクを調整することで、モデルの表現力とパラメータ効率のバランスを制御できます。
LoRAの利点
- パラメータ効率: 学習対象のパラメータ数が大幅に削減されるため、計算コストとストレージ要件が軽減されます。
- 高速な学習: パラメータ数が少ないため、学習時間が短縮されます。
- 移植性: 学習済みのLoRAモジュールは、元のモデルと組み合わせて使用でき、異なるタスクやデータセットに簡単に適用できます。
- 既存モデルの活用: 既存の大規模言語モデルを再学習する必要がなく、LoRAモジュールを追加するだけで特定のタスクに適応させることができます。