Unsupervised Object-Centric Learning with Bi-Level Optimized Query Slot Attention

要約

複雑な自然シーンを意味のあるオブジェクト中心の抽象化に分解する能力は、人間の知覚と推論の核心にあります。
教師なしオブジェクト中心学習の最近の集大成において、Slot-Attention モジュールは、そのシンプルでありながら効果的な設計で重要な役割を果たし、多くの強力なバリアントを育みました。
ただし、これらの方法は、監督なしでトレーニングするのが非常に困難であり、特に複雑な自然のシーンでは、オブジェクトの概念が曖昧です。
このホワイト ペーパーでは、(1) 学習可能なクエリを使用して Slot-Attention モジュールを初期化し、(2) 2 レベル最適化を使用してモデルを最適化することにより、これらの問題に対処することを提案します。
バニラの Slot-Attention のコードを簡単に調整するだけで、私たちのモデルである Bi-level Optimized Query Slot Attention は、教師なし画像のセグメンテーションと再構成において、合成データセットと複雑な現実世界のデータセットの両方で最先端の結果を達成し、以前のベースラインよりも優れています。
大幅に（〜10％）。
私たちは、デザインの必要性と有効性を検証するために徹底的なアブレーション研究を提供します。
さらに、私たちのモデルは、コンセプトバインディングとゼロショット学習の優れた可能性を示しています。
私たちの取り組みが、スロットベースのモデルの設計と学習のための単一のホームを提供し、オブジェクト中心の学習におけるより困難なタスクへの道を開くことを願っています.
私たちの実装は、https://github.com/Wall-Facer-liuyu/BO-QSA で公開されています。

要約(オリジナル)

The ability to decompose complex natural scenes into meaningful object-centric abstractions lies at the core of human perception and reasoning. In the recent culmination of unsupervised object-centric learning, the Slot-Attention module has played an important role with its simple yet effective design and fostered many powerful variants. These methods, however, have been exceedingly difficult to train without supervision and are ambiguous in the notion of object, especially for complex natural scenes. In this paper, we propose to address these issues by (1) initializing Slot-Attention modules with learnable queries and (2) optimizing the model with bi-level optimization. With simple code adjustments on the vanilla Slot-Attention, our model, Bi-level Optimized Query Slot Attention, achieves state-of-the-art results on both synthetic and complex real-world datasets in unsupervised image segmentation and reconstruction, outperforming previous baselines by a large margin (~10%). We provide thorough ablative studies to validate the necessity and effectiveness of our design. Additionally, our model exhibits excellent potential for concept binding and zero-shot learning. We hope our effort could provide a single home for the design and learning of slot-based models and pave the way for more challenging tasks in object-centric learning. Our implementation is publicly available at https://github.com/Wall-Facer-liuyu/BO-QSA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google