Divided Attention: Unsupervised Multi-Object Discovery with Contextually Separated Slots

要約

グラウンドトゥルースや監視なしで訓練された、視野を独立して移動する領域にセグメント化する方法を紹介します。
これは、スロット アテンションに基づく敵対的な条件付きエンコーダ/デコーダ アーキテクチャで構成されており、画像自体を再構築しようとせずにオプティカル フローをデコードするコンテキストとして画像を使用するように修正されています。
結果として得られるマルチモーダル表現では、1 つのモダリティ (フロー) がエンコーダーに供給して個別の潜在コード (スロット) を生成しますが、もう 1 つのモダリティ (イメージ) はデコーダーがスロットから最初のコード (フロー) を生成するように条件付けします。
この設計により、シーンの照明や反射率の特性などに起因する画像内の複雑で迷惑な変動を表現でエンコードする必要がなくなりました。
再構成エラーの最小化に基づく慣例的な自動エンコーディングでは、フロー全体が単一スロットにエンコードされることが妨げられないため、コンテキスト情報分離に基づいて損失を敵対的基準に変更します。
結果として生じる最小-最大最適化により、オブジェクトの分離と、それらの異なるアテンション スロットへの割り当てが促進され、分割された注意 (DivA) が発生します。
DivA は、最近の教師なしマルチオブジェクト モーション セグメンテーション手法を上回り、実行速度を最大 104FPS まで 3 倍にし、教師あり手法とのパフォーマンスの差を 12% 以下に削減します。
DivA は、トレーニング時およびテスト時にさまざまな数のオブジェクトとさまざまな画像サイズを処理でき、オブジェクト ラベルの並べ替えに対して不変であり、明示的な正則化を必要としません。

要約(オリジナル)

We introduce a method to segment the visual field into independently moving regions, trained with no ground truth or supervision. It consists of an adversarial conditional encoder-decoder architecture based on Slot Attention, modified to use the image as context to decode optical flow without attempting to reconstruct the image itself. In the resulting multi-modal representation, one modality (flow) feeds the encoder to produce separate latent codes (slots), whereas the other modality (image) conditions the decoder to generate the first (flow) from the slots. This design frees the representation from having to encode complex nuisance variability in the image due to, for instance, illumination and reflectance properties of the scene. Since customary autoencoding based on minimizing the reconstruction error does not preclude the entire flow from being encoded into a single slot, we modify the loss to an adversarial criterion based on Contextual Information Separation. The resulting min-max optimization fosters the separation of objects and their assignment to different attention slots, leading to Divided Attention, or DivA. DivA outperforms recent unsupervised multi-object motion segmentation methods while tripling run-time speed up to 104FPS and reducing the performance gap from supervised methods to 12% or less. DivA can handle different numbers of objects and different image sizes at training and test time, is invariant to permutation of object labels, and does not require explicit regularization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google