行動散乱階層（こうどうさんらんかいそう）

最終更新：2026/4/24

行動散乱階層は、複雑な行動を、単純な反射から学習に基づく計画的な行動まで、階層的に分類する理論モデルである。

別名・同義語階層型強化学習HRL

ポイント

この階層モデルは、行動の制御機構を理解し、人工知能やロボット工学における行動設計に応用される。

行動散乱階層とは

行動散乱階層（Hierarchical Reinforcement Learning, HRL）は、強化学習における課題解決手法の一つであり、複雑なタスクをより小さな、管理しやすいサブタスクに分解し、階層的に学習することで効率的な学習を可能にする。従来の強化学習では、状態空間と行動空間が大きくなると学習が困難になる「次元の呪い」と呼ばれる問題が生じるが、HRLはこの問題を緩和する効果が期待できる。

階層構造

行動散乱階層は、一般的に以下の階層構造を持つ。

最下層 (Low-Level): 基本的な行動（例：モーター制御、移動）を直接実行する層。反射的な行動や、単純な条件分岐に基づく行動が含まれる。
中間層 (Mid-Level): 一連の基本行動を組み合わせた、より複雑な行動（例：特定の場所への移動、目標物の操作）を実行する層。サブゴールを設定し、それを達成するための行動計画を立てる。
最上層 (High-Level): タスク全体の目標を達成するための戦略を決定する層。中間層にサブゴールを指示し、タスクの進行を監視する。

HRLの利点

学習効率の向上: 複雑なタスクを分割することで、各層での学習が容易になり、全体的な学習時間を短縮できる。
汎化性能の向上: 階層構造により、異なる状況への適応が容易になり、汎化性能が向上する。
解釈可能性の向上: 階層構造は、行動の意思決定プロセスを理解しやすくする。

HRLの応用例

ロボット制御: ロボットに複雑なタスク（例：家事、工場での作業）を教える。
ゲームAI: ゲームキャラクターに高度な戦略を学習させる。
自動運転: 自動運転車の経路計画や運転制御。

課題

階層構造の設計: 適切な階層構造を設計することは、HRLの性能に大きく影響する。
層間の連携: 各層間の情報伝達や連携を効率的に行う必要がある。