Neural Block-Slot Representations

要約

この論文では、ブロックスロット表現と呼ばれる新しいオブジェクト中心の表現を提案します。
従来のスロット表現とは異なり、Block-Slot Representation は、スロット内で概念レベルのもつれの解消を提供します。
ブロックスロットは、抽象概念プロトタイプの学習された記憶から生成された、ブロックと呼ばれる一連のモジュラー概念表現を構成することによって構築されます。
このブロックスロット構築プロセスを、Block-Slot Attention と呼びます。
Block-Slot Attention は、監視なしで、色、位置、テクスチャなどのスロット内の抽象的な概念ブロックの出現を容易にします。
これにより、スロットへのもつれの解消の利点がもたらされ、表現がより解釈しやすくなります。
Slot Attention と同様に、このメカニズムは任意のニューラル アーキテクチャでドロップイン モジュールとして使用できます。
実験では、私たちのモデルが、複雑なテクスチャ シーンを含む以前の方法よりもはるかに優れたオブジェクト プロパティのもつれを解くことを示しています。
また、ブロック レベルでスロットを構成することにより、斬新なシーンを構成する機能も示します。

要約(オリジナル)

In this paper, we propose a novel object-centric representation, called Block-Slot Representation. Unlike the conventional slot representation, the Block-Slot Representation provides concept-level disentanglement within a slot. A block-slot is constructed by composing a set of modular concept representations, called blocks, generated from a learned memory of abstract concept prototypes. We call this block-slot construction process Block-Slot Attention. Block-Slot Attention facilitates the emergence of abstract concept blocks within a slot such as color, position, and texture, without any supervision. This brings the benefits of disentanglement into slots and the representation becomes more interpretable. Similar to Slot Attention, this mechanism can be used as a drop-in module in any arbitrary neural architecture. In experiments, we show that our model disentangles object properties significantly better than the previous methods, including complex textured scenes. We also demonstrate the ability to compose novel scenes by composing slots at the block-level.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google