Imitating Human Behaviour with Diffusion Models

要約

拡散モデルは、テキストから画像への変換領域において、強力な生成モデルとして登場した。本論文では、連続する環境における人間の行動を模倣するための観察から行動へのモデルとして、その応用を研究する。人間の行動は確率的かつマルチモーダルであり、行動の次元間に構造化された相関がある。一方、行動クローニングにおける標準的なモデリングの選択肢は、その表現力に限界があり、クローニングされた方針にバイアスをもたらす可能性がある。我々はまず、これらの選択肢の限界を指摘する。次に、拡散モデルは、共同行動空間上の表現力豊かな分布を学習するため、人間の行動を模倣するのに最適なモデルであることを提案する。拡散モデルを逐次的な環境に適合させるために、適切なアーキテクチャの設計、ガイダンスの役割の調査、信頼性の高いサンプリング戦略の開発など、いくつかの工夫を施している。実験的には、拡散モデルは、ロボット制御タスクのシミュレーションや最新の3Dゲーム環境における人間の実演と密接に一致している。

要約(オリジナル)

Diffusion models have emerged as powerful generative models in the text-to-image domain. This paper studies their application as observation-to-action models for imitating human behaviour in sequential environments. Human behaviour is stochastic and multimodal, with structured correlations between action dimensions. Meanwhile, standard modelling choices in behaviour cloning are limited in their expressiveness and may introduce bias into the cloned policy. We begin by pointing out the limitations of these choices. We then propose that diffusion models are an excellent fit for imitating human behaviour, since they learn an expressive distribution over the joint action space. We introduce several innovations to make diffusion models suitable for sequential environments; designing suitable architectures, investigating the role of guidance, and developing reliable sampling strategies. Experimentally, diffusion models closely match human demonstrations in a simulated robotic control task and a modern 3D gaming environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL