Modeling Multiple Views via Implicitly Preserving Global Consistency and Local Complementarity

要約

自己教師あり学習手法は、複数のビューをモデル化することでラベルのないデータから暗黙の知識をマイニングするためによく使用されますが、複雑で一貫性のないコンテキストで効果的な表現学習を実行する方法は不明です。
この目的を達成するために、我々は、厳密なグローバルなビュー間の一貫性と、正則化を維持するローカルなビュー間の相補性を利用して、複数のビューから表現を包括的に学習する方法論、特に一貫性および相補性ネットワーク(CoCoNet)を提案します。
グローバルな舞台では、重要な知識はビュー間で暗黙的に共有されており、そのような知識をデータから取得するエンコーダーを強化することで、学習された表現の識別性を向上させることができると考えられます。
したがって、複数のビューのグローバルな一貫性を維持することで、共通の知識を確実に取得できます。
CoCoNet は、一般化されたスライスされた Wasserstein 距離に基づく効率的な不一致メトリック測定を利用して、ビューの確率的分布を調整します。
最後にローカルステージでは、ビュー間の識別知識を結合するヒューリスティックな相補性係数を提案します。これにより、エンコーダはビューごとの識別可能性だけでなくビュー間の補完情報も学習するように導きます。
理論的には、私たちが提案するCoCoNetの情報理論に基づいた分析を提供します。
経験的に、私たちのアプローチの改善効果を調査するために、適切な実験的検証を実施しました。その結果、CoCoNet が最先端の自己教師あり手法よりも大幅に優れていることが実証され、このような暗黙の一貫性と相補性を維持した正則化によって、
潜在表現の識別可能性。

要約(オリジナル)

While self-supervised learning techniques are often used to mining implicit knowledge from unlabeled data via modeling multiple views, it is unclear how to perform effective representation learning in a complex and inconsistent context. To this end, we propose a methodology, specifically consistency and complementarity network (CoCoNet), which avails of strict global inter-view consistency and local cross-view complementarity preserving regularization to comprehensively learn representations from multiple views. On the global stage, we reckon that the crucial knowledge is implicitly shared among views, and enhancing the encoder to capture such knowledge from data can improve the discriminability of the learned representations. Hence, preserving the global consistency of multiple views ensures the acquisition of common knowledge. CoCoNet aligns the probabilistic distribution of views by utilizing an efficient discrepancy metric measurement based on the generalized sliced Wasserstein distance. Lastly on the local stage, we propose a heuristic complementarity-factor, which joints cross-view discriminative knowledge, and it guides the encoders to learn not only view-wise discriminability but also cross-view complementary information. Theoretically, we provide the information-theoretical-based analyses of our proposed CoCoNet. Empirically, to investigate the improvement gains of our approach, we conduct adequate experimental validations, which demonstrate that CoCoNet outperforms the state-of-the-art self-supervised methods by a significant margin proves that such implicit consistency and complementarity preserving regularization can enhance the discriminability of latent representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google