Learning Control by Iterative Inversion

要約

私たちは $\textit{iterative inversion}$ — 入力と出力のペアを使用せずに、目的の出力分布からのサンプルと順関数へのアクセスのみを使用して逆関数を学習するアルゴリズムを提案します。
重要な課題は、目的の出力と最初のランダムな推測の出力の間の $\textit{分布シフト}$ であり、関数のかなり厳密な条件下で、反復逆変換が学習を正しく誘導できることを証明します。
制御を学習するために反復反転を適用します。
私たちの入力は、（アクションなしの）軌跡のビデオ埋め込みとして与えられる、望ましい動作の一連のデモンストレーションであり、私たちのメソッドは、ランダムな探査ノイズによって摂動され、現在のポリシーによって生成された軌跡を模倣することを反復的に学習します。
私たちのアプローチは報酬を必要とせず、教師あり学習のみを採用しており、最先端の軌道埋め込み技術とポリシー表現を使用するように簡単に拡張できます。
実際、VQ-VAE の埋め込みとトランスベースのポリシーを使用して、いくつかのタスクに対する簡単ではない継続的な制御を実証しました。
さらに、報酬ベースの方法と比較して、多様な行動を模倣する際のパフォーマンスが向上したことを報告します。

要約(オリジナル)

We propose $\textit{iterative inversion}$ — an algorithm for learning an inverse function without input-output pairs, but only with samples from the desired output distribution and access to the forward function. The key challenge is a $\textit{distribution shift}$ between the desired outputs and the outputs of an initial random guess, and we prove that iterative inversion can steer the learning correctly, under rather strict conditions on the function. We apply iterative inversion to learn control. Our input is a set of demonstrations of desired behavior, given as video embeddings of trajectories (without actions), and our method iteratively learns to imitate trajectories generated by the current policy, perturbed by random exploration noise. Our approach does not require rewards, and only employs supervised learning, which can be easily scaled to use state-of-the-art trajectory embedding techniques and policy representations. Indeed, with a VQ-VAE embedding, and a transformer-based policy, we demonstrate non-trivial continuous control on several tasks. Further, we report an improved performance on imitating diverse behaviors compared to reward based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google