Diffusing States and Matching Scores: A New Framework for Imitation Learning

要約

敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数との間の 2 プレイヤーのゼロサム ゲームとして構成されているため、敵対的生成ネットワーク (GAN) の逐次一般化として考えることができます。
このフレームワークの顕著な例は、敵対的模倣学習 (GAIL) です。
しかし、近年、回帰によるスコア関数のトレーニングを必要とするだけでありながら、より高品質の世代を生成する GAN の非敵対的代替手段として拡散モデルが登場しました。
これに応じて、拡散モデリングからの洞察を逐次設定に引き上げる方法を調査します。
我々は、状態を拡散し、拡散状態に沿ってスコアマッチングを実行して、専門家の状態と学習者の状態の間の不一致を測定することを提案します。
したがって、私たちのアプローチでは、標準回帰によってノイズを予測するためにスコア関数をトレーニングするだけでよく、敵対的手法よりもトレーニングが大幅に簡単かつ安定しています。
理論的には、線形スケーリングを視野に入れた一次と二次のインスタンス依存の限界を証明し、私たちのアプローチが模倣学習へのオフラインアプローチを妨げる複合誤差を回避できることを証明します。
経験的に、私たちのアプローチは、歩く、座る、這うようにヒューマノイドを制御するような複雑なタスクを含む、さまざまな連続制御問題にわたって GAN スタイルの模倣学習ベースラインを上回るパフォーマンスを示しています。

要約(オリジナル)

Adversarial Imitation Learning is traditionally framed as a two-player zero-sum game between a learner and an adversarially chosen cost function, and can therefore be thought of as the sequential generalization of a Generative Adversarial Network (GAN). A prominent example of this framework is Generative Adversarial Imitation Learning (GAIL). However, in recent years, diffusion models have emerged as a non-adversarial alternative to GANs that merely require training a score function via regression, yet produce generations of a higher quality. In response, we investigate how to lift insights from diffusion modeling to the sequential setting. We propose diffusing states and performing score-matching along diffused states to measure the discrepancy between the expert’s and learner’s states. Thus, our approach only requires training score functions to predict noises via standard regression, making it significantly easier and more stable to train than adversarial methods. Theoretically, we prove first- and second-order instance-dependent bounds with linear scaling in the horizon, proving that our approach avoids the compounding errors that stymie offline approaches to imitation learning. Empirically, we show our approach outperforms GAN-style imitation learning baselines across various continuous control problems, including complex tasks like controlling humanoids to walk, sit, and crawl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google