Genie: Generative Interactive Environments

要約

ラベルのないインターネット ビデオから教師なしの方法でトレーニングされた初の生成インタラクティブ環境である Genie を紹介します。
モデルは、テキスト、合成画像、写真、さらにはスケッチを通じて記述された、アクション制御可能な無限の多様な仮想世界を生成するように促すことができます。
パラメータが 11B の場合、Genie は基礎世界モデルとみなすことができます。
これは、時空間ビデオ トークナイザー、自己回帰ダイナミクス モデル、およびシンプルでスケーラブルな潜在アクション モデルで構成されています。
Genie を使用すると、ユーザーは、世界のモデル文献で一般的に見られるグラウンド トゥルース アクション ラベルやその他のドメイン固有の要件なしでトレーニングしたにもかかわらず、生成された環境でフレームごとに動作できます。
さらに、その結​​果として得られる学習された潜在アクション空間により、エージェントのトレーニングが未見のビデオからの動作を模倣することが容易になり、将来のジェネラリストエージェントのトレーニングへの道が開かれます。

要約(オリジナル)

We introduce Genie, the first generative interactive environment trained in an unsupervised manner from unlabelled Internet videos. The model can be prompted to generate an endless variety of action-controllable virtual worlds described through text, synthetic images, photographs, and even sketches. At 11B parameters, Genie can be considered a foundation world model. It is comprised of a spatiotemporal video tokenizer, an autoregressive dynamics model, and a simple and scalable latent action model. Genie enables users to act in the generated environments on a frame-by-frame basis despite training without any ground-truth action labels or other domain-specific requirements typically found in the world model literature. Further the resulting learned latent action space facilitates training agents to imitate behaviors from unseen videos, opening the path for training generalist agents of the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google