Recurrent Complex-Weighted Autoencoders for Unsupervised Object Discovery

要約

現在の最先端の同期ベースのモデルは、複素数値のアクティベーションを使用してオブジェクト バインディングをエンコードし、フィードフォワード アーキテクチャで実数値の重みを使用して計算します。
私たちは、複素数値の重みをもつリカレント アーキテクチャの計算上の利点を主張します。
我々は、反復制約充足を実行する完全畳み込みオートエンコーダ SynCx を提案します。反復ごとに、隠れ層のボトルネックが特定の位相関係における特徴の統計的に規則的な構成をエンコードします。
反復を通じて、ローカル制約が伝播し、モデルはグローバルに一貫した位相割り当ての構成に収束します。
バインディングは、現在の同期ベースのモデルに組み込まれている追加のメカニズムを必要とせず、複素数値の重みとアクティベーションの間の行列とベクトルの積演算によって簡単に実現されます。
SynCx は、教師なし物体発見に関して現在のモデルよりも優れたパフォーマンスを発揮するか、または強力に競合します。
SynCx は、追加の監視なしでは同じ色のオブジェクトを分離できないなど、現在のモデルの特定の系統的なグループ化エラーも回避します。

要約(オリジナル)

Current state-of-the-art synchrony-based models encode object bindings with complex-valued activations and compute with real-valued weights in feedforward architectures. We argue for the computational advantages of a recurrent architecture with complex-valued weights. We propose a fully convolutional autoencoder, SynCx, that performs iterative constraint satisfaction: at each iteration, a hidden layer bottleneck encodes statistically regular configurations of features in particular phase relationships; over iterations, local constraints propagate and the model converges to a globally consistent configuration of phase assignments. Binding is achieved simply by the matrix-vector product operation between complex-valued weights and activations, without the need for additional mechanisms that have been incorporated into current synchrony-based models. SynCx outperforms or is strongly competitive with current models for unsupervised object discovery. SynCx also avoids certain systematic grouping errors of current models, such as the inability to separate similarly colored objects without additional supervision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google