Diffusion Model-Augmented Behavioral Cloning

要約

模倣学習は、環境からの報酬信号にアクセスせずに専門家のデモンストレーションを観察することで学習の課題に対処します。
環境との対話を必要としない既存の模倣学習法のほとんどは、条件付き確率 p(a|s) (例: 行動クローニング、BC) または同時確率 p(s, a) (例: 暗黙的行動) としてエキスパート分布をモデル化します。
クローン作成）。
その単純さにもかかわらず、BC を使用した条件付き確率のモデル化は一般化に苦労します。
結合確率をモデル化すると汎化パフォーマンスの向上につながる可能性がありますが、推論手順には時間がかかる可能性があり、多様体の過学習が発生することがよくあります。
この研究は、エキスパート分布の条件付き確率と同時確率の両方をモデル化することから恩恵を受ける模倣学習フレームワークを提案しています。
私たちが提案する拡散モデル拡張行動クローニング (DBC) は、専門家の行動をモデル化するためにトレーニングされた拡散モデルを採用し、BC 損失 (条件付き) と提案した拡散モデル損失 (結合) の両方を最適化するポリシーを学習します。
DBC は、ナビゲーション、ロボット アームの操作、器用な操作、移動などのさまざまな連続制御タスクでベースラインを上回ります。
エキスパート分布の条件付き確率または結合確率のモデリングの限界を検証し、さまざまな生成モデルを比較するための追加の実験を設計します。

要約(オリジナル)

Imitation learning addresses the challenge of learning by observing an expert’s demonstrations without access to reward signals from environments. Most existing imitation learning methods that do not require interacting with environments either model the expert distribution as the conditional probability p(a|s) (e.g., behavioral cloning, BC) or the joint probability p(s, a) (e.g., implicit behavioral cloning). Despite its simplicity, modeling the conditional probability with BC usually struggles with generalization. While modeling the joint probability can lead to improved generalization performance, the inference procedure can be time-consuming and it often suffers from manifold overfitting. This work proposes an imitation learning framework that benefits from modeling both the conditional and joint probability of the expert distribution. Our proposed diffusion model-augmented behavioral cloning (DBC) employs a diffusion model trained to model expert behaviors and learns a policy to optimize both the BC loss (conditional) and our proposed diffusion model loss (joint). DBC outperforms baselines in various continuous control tasks in navigation, robot arm manipulation, dexterous manipulation, and locomotion. We design additional experiments to verify the limitations of modeling either the conditional probability or the joint probability of the expert distribution as well as compare different generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google