Dreamweaver: Learning Compositional World Models from Pixels

要約

人間は、世界の認識をオブジェクトと、色、形状、運動パターンなどの属性に分解する生来の能力を持っています。
この認知プロセスにより、おなじみの概念を組み立てることにより、新しい未来を想像することができます。
ただし、人工知能システムでこの能力を複製することは、特に動画を構成概念にモデル化し、テキスト、マスク、境界ボックスなどの補助データに依存することなく、目に見えない再構築を生成する場合に挑戦的であることが証明されています。
この論文では、生ビデオから階層的および構成的表現を発見し、構成の将来のシミュレーションを生成するために設計された神経アーキテクチャであるDreamWeaverを提案します。
私たちのアプローチは、新しい再発ブロックスロットユニット（RBSU）を活用して、構成要素オブジェクトと属性にビデオを分解します。
さらに、DreamWeaverは、マルチフューチャーフレーム予測の目的を使用して、動的概念の解きだれの表現をより効果的にキャプチャし、静的概念をキャプチャします。
実験では、複数のデータセットにわたってDCIフレームワークの下で評価された場合、モデルが世界モデリングの最新のベースラインを上回ることを実証します。
さらに、モデルのモジュール化された概念表現が構成想像力をどのように可能にし、以前に見たオブジェクトから属性を組換えることにより、新しいビデオの生成を可能にする方法を示します。
cun-bjy.github.io/dreamweaver-website

要約(オリジナル)

Humans have an innate ability to decompose their perceptions of the world into objects and their attributes, such as colors, shapes, and movement patterns. This cognitive process enables us to imagine novel futures by recombining familiar concepts. However, replicating this ability in artificial intelligence systems has proven challenging, particularly when it comes to modeling videos into compositional concepts and generating unseen, recomposed futures without relying on auxiliary data, such as text, masks, or bounding boxes. In this paper, we propose Dreamweaver, a neural architecture designed to discover hierarchical and compositional representations from raw videos and generate compositional future simulations. Our approach leverages a novel Recurrent Block-Slot Unit (RBSU) to decompose videos into their constituent objects and attributes. In addition, Dreamweaver uses a multi-future-frame prediction objective to capture disentangled representations for dynamic concepts more effectively as well as static concepts. In experiments, we demonstrate our model outperforms current state-of-the-art baselines for world modeling when evaluated under the DCI framework across multiple datasets. Furthermore, we show how the modularized concept representations of our model enable compositional imagination, allowing the generation of novel videos by recombining attributes from previously seen objects. cun-bjy.github.io/dreamweaver-website

arxiv情報

提供元, 利用サービス

arxiv.jp, Google