Grounded Object Centric Learning

要約

下流タスクのためのモジュール式オブジェクト中心表現の抽出は、新たな研究分野です。
安定性と不変性が保証されたオブジェクトの根拠に基づいた表現を学習すると、さまざまなタスクや環境にわたって堅牢なパフォーマンスが保証されます。
スロット アテンション (SA) は、オブジェクトを \textit{slots} に割り当てることでオブジェクト中心の表現を学習しますが、すべてのスロットがランダムに初期化される \textit{single} 分布を前提としています。
その結果、特定のオブジェクト タイプにバインドされ、オブジェクトの外観のアイデンティティを保持する変更に対して不変のままである \textit{specialized} スロットを学習できなくなります。
これに対処するために、\emph{Grounded Slot Dictionary} (GSD) の新しい概念を使用した \emph{\textsc{Co}nditional \textsc{S}lot \textsc{A}ttention} (\textsc{CoSA}) を提案します。
ベクトル量子化からインスピレーションを得たものです。
私たちが提案する GSD は、(i) 正準オブジェクト レベルのプロパティ ベクトルと、(ii) スロット上の事前分布を定義するパラメトリック ガウス分布で構成されます。
一般的な物体発見ベンチマークにおいて SA との競争力を維持しながら、シーン生成、合成、タスク適応などの複数の下流タスクにおけるこの手法の利点を実証します。

要約(オリジナル)

The extraction of modular object-centric representations for downstream tasks is an emerging area of research. Learning grounded representations of objects that are guaranteed to be stable and invariant promises robust performance across different tasks and environments. Slot Attention (SA) learns object-centric representations by assigning objects to \textit{slots}, but presupposes a \textit{single} distribution from which all slots are randomly initialised. This results in an inability to learn \textit{specialized} slots which bind to specific object types and remain invariant to identity-preserving changes in object appearance. To address this, we present \emph{\textsc{Co}nditional \textsc{S}lot \textsc{A}ttention} (\textsc{CoSA}) using a novel concept of \emph{Grounded Slot Dictionary} (GSD) inspired by vector quantization. Our proposed GSD comprises (i) canonical object-level property vectors and (ii) parametric Gaussian distributions, which define a prior over the slots. We demonstrate the benefits of our method in multiple downstream tasks such as scene generation, composition, and task adaptation, whilst remaining competitive with SA in popular object discovery benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google