Feature Learning in Image Hierarchies using Functional Maximal Correlation

要約

この論文では、マルチビュー システムの 2 つの階層レベルにわたる依存関係を特徴付ける階層的方法論である階層関数最大相関アルゴリズム (HFMCA) を提案します。
HFMCA は、ビューの類似性を依存関係としてフレーム化し、正規直交性を課すことでコントラストを確保することにより、自己教師あり学習のより高速な収束と安定性の向上を実現します。
HFMCA は、ピクセルやパッチから完全なイメージに至るまで、イメージ階層内の依存関係を定義および測定します。
正規直交基底関数を近似するためのネットワーク トポロジが標準的な CNN と一致し、特徴マップの隣接する層間の密度比の分解が可能になることがわかりました。
このアプローチは強力な解釈可能性を提供し、内部表現のレンズを通して監督と自己監督の類似性を明らかにします。

要約(オリジナル)

This paper proposes the Hierarchical Functional Maximal Correlation Algorithm (HFMCA), a hierarchical methodology that characterizes dependencies across two hierarchical levels in multiview systems. By framing view similarities as dependencies and ensuring contrastivity by imposing orthonormality, HFMCA achieves faster convergence and increased stability in self-supervised learning. HFMCA defines and measures dependencies within image hierarchies, from pixels and patches to full images. We find that the network topology for approximating orthonormal basis functions aligns with a vanilla CNN, enabling the decomposition of density ratios between neighboring layers of feature maps. This approach provides powerful interpretability, revealing the resemblance between supervision and self-supervision through the lens of internal representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google