Diffusion Model-Augmented Behavioral Cloning

要約

模倣学習は、環境からの報酬信号にアクセスせずに専門家のデモンストレーションを観察することで学習の課題に対処します。
環境との対話を必要としない既存の模倣学習法のほとんどは、エキスパート分布を条件付き確率 p(a|s) (例: 行動クローニング、BC) または結合確率 p(s, a) としてモデル化します。
その単純さにもかかわらず、BC を使用した条件付き確率のモデル化は一般化に苦労します。
結合確率をモデル化すると汎化パフォーマンスの向上につながる可能性がありますが、推論手順には時間がかかることが多く、モデルが多様体過学習に悩まされる可能性があります。
この研究は、エキスパート分布の条件付き確率と同時確率の両方をモデル化することから恩恵を受ける模倣学習フレームワークを提案しています。
私たちが提案する拡散モデル拡張行動クローニング (DBC) は、専門家の行動をモデル化するためにトレーニングされた拡散モデルを採用し、BC 損失 (条件付き) と提案した拡散モデル損失 (結合) の両方を最適化するポリシーを学習します。
DBC は、ナビゲーション、ロボット アームの操作、器用な操作、移動などのさまざまな連続制御タスクでベースラインを上回ります。
エキスパート分布の条件付き確率または結合確率のモデリングの限界を検証し、さまざまな生成モデルを比較するための追加の実験を設計します。
アブレーション研究により、当社の設計選択の有効性が正当化されています。

要約(オリジナル)

Imitation learning addresses the challenge of learning by observing an expert’s demonstrations without access to reward signals from environments. Most existing imitation learning methods that do not require interacting with environments either model the expert distribution as the conditional probability p(a|s) (e.g., behavioral cloning, BC) or the joint probability p(s, a). Despite its simplicity, modeling the conditional probability with BC usually struggles with generalization. While modeling the joint probability can lead to improved generalization performance, the inference procedure is often time-consuming and the model can suffer from manifold overfitting. This work proposes an imitation learning framework that benefits from modeling both the conditional and joint probability of the expert distribution. Our proposed diffusion model-augmented behavioral cloning (DBC) employs a diffusion model trained to model expert behaviors and learns a policy to optimize both the BC loss (conditional) and our proposed diffusion model loss (joint). DBC outperforms baselines in various continuous control tasks in navigation, robot arm manipulation, dexterous manipulation, and locomotion. We design additional experiments to verify the limitations of modeling either the conditional probability or the joint probability of the expert distribution as well as compare different generative models. Ablation studies justify the effectiveness of our design choices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google