Vector-Quantized Vision Foundation Models for Object-Centric Learning

要約

視覚的なシーンをオブジェクトに分解すると、人間がそうであるように、オブジェクトの関係とダイナミクスのモデリングを容易にします。
オブジェクト中心の学習（OCL）は、画像またはビデオ機能マップを\ textit {slots}として知られるオブジェクトレベルの機能ベクトルに集約することにより、これを達成します。
Slotsからの入力を複雑なテクスチャに伴う入力を再構築することにより、OCLの自己監視があるため、多くの方法がVision Foundationモデル（VFM）を使用して、より良いオブジェクト性の特徴マップを抽出します。
ただし、VFMSを単に特徴抽出器として使用しても、その可能性のロックを完全に解除しません。
OCL（VQ-VFM-OCL、またはVVO）のベクトル定量化されたVFMを提案します。ここでは、VFM機能が抽出され、オブジェクトレベルの情報集計を促進し、さらに量子化して再構築の監督を強化します。
私たちのVVOは、OCLの代​​表者を簡潔なアーキテクチャに統合します。
実験は、VVOがオブジェクトディスカバリータスクの主流の方法よりも優れているだけでなく、視覚的な予測や推論などの下流タスクにも役立つことを示しています。
ソースコードはサプリメントで利用できます。

要約(オリジナル)

Decomposing visual scenes into objects, as humans do, facilitates modeling object relations and dynamics. Object-Centric Learning (OCL) achieves this by aggregating image or video feature maps into object-level feature vectors, known as \textit{slots}. OCL’s self-supervision via reconstructing the input from slots struggles with complex textures, thus many methods employ Vision Foundation Models (VFMs) to extract feature maps with better objectness. However, using VFMs merely as feature extractors does not fully unlock their potential. We propose Vector-Quantized VFMs for OCL (VQ-VFM-OCL, or VVO), where VFM features are extracted to facilitate object-level information aggregation and further quantized to strengthen supervision in reconstruction. Our VVO unifies OCL representatives into a concise architecture. Experiments demonstrate that VVO not only outperforms mainstream methods on object discovery tasks but also benefits downstream tasks like visual prediction and reasoning. The source code is available in the supplement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google