Learning Interactive Real-World Simulators

要約

インターネット データでトレーニングされた生成モデルは、テキスト、画像、ビデオ コンテンツの作成方法に革命をもたらしました。
おそらく、生成モデルの次のマイルストーンは、人間、ロボット、その他の対話型エージェントによって行われるアクションに応じて現実的な体験をシミュレートすることです。
現実世界シミュレーターのアプリケーションは、ゲームや映画での制御可能なコンテンツの作成から、現実世界に直接展開できる純粋なシミュレーション内での具体化されたエージェントのトレーニングまで多岐にわたります。
私たちは、生成モデリングを通じて現実世界のインタラクションのユニバーサル シミュレータ (UniSim) を学習する可能性を探ります。
まず、実世界シミュレーターの学習に利用できる自然データセットは、多くの場合、さまざまな次元に沿って豊富であるという重要な観察を行います (たとえば、画像データ内の豊富なオブジェクト、ロボット工学データ内の高密度にサンプリングされたアクション、ナビゲーション データ内の多様な動きなど)。
それぞれがエクスペリエンス全体の異なる側面を提供する多様なデータセットを慎重にオーケストレーションすることで、「引き出しを開ける」などの高レベルの命令と、静的なシーンやオブジェクトからの低レベルのコントロールの両方の視覚的な結果をシミュレートできます。
シミュレーターを使用して、高レベルのビジョン言語ポリシーと低レベルの強化学習ポリシーの両方をトレーニングします。それぞれのポリシーは、純粋にシミュレーションでトレーニングした後、ゼロショットで現実世界にデプロイできます。
また、ビデオキャプションモデルなどの他のタイプのインテリジェンスも、模擬体験によるトレーニングから恩恵を受け、さらに幅広い応用が可能になることも示します。
ビデオデモは https://universal-simulator.github.io でご覧いただけます。

要約(オリジナル)

Generative models trained on internet data have revolutionized how text, image, and video content can be created. Perhaps the next milestone for generative models is to simulate realistic experience in response to actions taken by humans, robots, and other interactive agents. Applications of a real-world simulator range from controllable content creation in games and movies, to training embodied agents purely in simulation that can be directly deployed in the real world. We explore the possibility of learning a universal simulator (UniSim) of real-world interaction through generative modeling. We first make the important observation that natural datasets available for learning a real-world simulator are often rich along different dimensions (e.g., abundant objects in image data, densely sampled actions in robotics data, and diverse movements in navigation data). With careful orchestration of diverse datasets, each providing a different aspect of the overall experience, we can simulate the visual outcome of both high-level instructions such as ‘open the drawer’ and low-level controls from otherwise static scenes and objects. We use the simulator to train both high-level vision-language policies and low-level reinforcement learning policies, each of which can be deployed in the real world in zero shot after training purely in simulation. We also show that other types of intelligence such as video captioning models can benefit from training with simulated experience, opening up even wider applications. Video demos can be found at https://universal-simulator.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google