Unsupervised Learning of Group Invariant and Equivariant Representations

要約

等変ニューラル ネットワークは、データに作用するグループ G の表現に従って隠れた特徴が変換され、トレーニング効率と汎化パフォーマンスの向上を示します。
この研究では、グループ不変表現学習と等変表現学習を教師なし深層学習の分野に拡張します。
我々は、潜在表現が不変項と等変なグループアクション成分に分離されるエンコーダ-デコーダフレームワークに基づいた一般的な学習戦略を提案します。
重要なアイデアは、ネットワークが、再構成タスクを解決するために入力ポーズと出力ポーズを揃えるために適切なグループ アクションを予測することをさらに学習することによって、グループ不変表現へのデータのエンコードとグループ不変表現からのデータのデコードを学習するということです。
等変エンコーダで必要な条件を導出し、離散と連続の両方の任意の G に有効な構造を提示します。
回転、平行移動、置換の構築を明示的に説明します。
私たちは、さまざまなネットワーク アーキテクチャを採用したさまざまなデータ タイプを使用したさまざまな実験で、アプローチの有効性と堅牢性をテストします。

要約(オリジナル)

Equivariant neural networks, whose hidden features transform according to representations of a group G acting on the data, exhibit training efficiency and an improved generalisation performance. In this work, we extend group invariant and equivariant representation learning to the field of unsupervised deep learning. We propose a general learning strategy based on an encoder-decoder framework in which the latent representation is separated in an invariant term and an equivariant group action component. The key idea is that the network learns to encode and decode data to and from a group-invariant representation by additionally learning to predict the appropriate group action to align input and output pose to solve the reconstruction task. We derive the necessary conditions on the equivariant encoder, and we present a construction valid for any G, both discrete and continuous. We describe explicitly our construction for rotations, translations and permutations. We test the validity and the robustness of our approach in a variety of experiments with diverse data types employing different network architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google