What Do You Need for Diverse Trajectory Stitching in Diffusion Planning?

要約

計画において、ステッチは、新しい多様な動作を生成するためにトレーニングされているデータのサブトレクタをまとめるアルゴリズムの能力です。
ステッチは歴史的にオフラインの強化学習の強さですが、最近の生成行動クローニング（BC）方法もステッチの習熟度を示しています。
ただし、この背後にある主な要因はよく理解されており、確実にステッチできる新しいアルゴリズムの開発を妨げています。
BCを介してトレーニングされた拡散プランナーに焦点を当てて、構成するために2つのプロパティが必要であることがわかります：\ emph {positional equivariance}と\ emph {local受容性}。
これらの2つのプロパティを使用して、拡散頻度、データ増強、データスケーリングなど、拡散計画に基づいた既存の生成BCメソッドのアーキテクチャ、データ、および推論の選択を説明します。
実験的な比較は、（1）組成が可能な拡散プランナーを作成する際の位置的等価性よりも地域性が重要であるが、どちらも重要なものであることを示しています（2）比較的単純なアーキテクチャの選択を通じてこれらの特性を可能にすることは、データの再整理やスケーリングデータなど、より計算的に高価な方法と競争力があり、（3）単純なインテクテントの組成モデルを設定することができます。

要約(オリジナル)

In planning, stitching is an ability of algorithms to piece together sub-trajectories of data they are trained on to generate new and diverse behaviours. While stitching is historically a strength of offline reinforcement learning, recent generative behavioural cloning (BC) methods have also shown proficiency at stitching. However, the main factors behind this are poorly understood, hindering the development of new algorithms that can reliably stitch. Focusing on diffusion planners trained via BC, we find two properties are needed to compose: \emph{positional equivariance} and \emph{local receptiveness}. We use these two properties to explain architecture, data, and inference choices in existing generative BC methods based on diffusion planning, including replanning frequency, data augmentation, and data scaling. Experimental comparisions show that (1) while locality is more important than positional equivariance in creating a diffusion planner capable of composition, both are crucial (2) enabling these properties through relatively simple architecture choices can be competitive with more computationally expensive methods such as replanning or scaling data, and (3) simple inpainting-based guidance can guide architecturally compositional models to enable generalization in goal-conditioned settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google