Unconstrained Stochastic CCA: Unifying Multiview and Self-Supervised Learning

要約

正準相関分析 (CCA) ファミリーのメソッドは、マルチビュー学習の基礎です。
正規化線形 CCA 手法は、部分最小二乗法 (PLS) を一般化し、一般化固有値問題 (GEP) フレームワークと統合されていることがわかります。
ただし、これらの線形法の古典的なアルゴリズムは、大規模なデータに対しては計算的に実行できません。
Deep CCA の拡張には大きな期待が寄せられていますが、現在のトレーニング手順は時間がかかり、複雑です。
まず、GEP の上部部分空間を特徴付ける新しい制約のない目的を提案します。
私たちの中心的な貢献は、確率的 PLS、確率的 CCA、およびディープ CCA 用の高速アルゴリズムのファミリーです。これらは、対応する CCA 目標に確率的勾配降下法 (SGD) を適用することで簡単に得られます。
当社のアルゴリズムは、すべての標準 CCA および Deep CCA ベンチマークにおいて、以前の最先端のものよりもはるかに高速な収束を示し、より高い相関を回復します。
これらの改善により、33,000 人を超える個人と 500,000 の特徴を含む、英国バイオバンクの非常に大規模な生物医学データセットに対して、この種では初の PLS 分析を実行できるようになりました。
最後に、最小限のハイパーパラメータ調整で CIFAR-10 および CIFAR-100 上の「CCA ファミリ」自己教師あり学習 (SSL) 手法のパフォーマンスと一致するようにアルゴリズムを適用し、これらの手法間の関連性を明確にするための理論も提示します。
および古典的な CCA は、将来の洞察のための基礎を築きます。

要約(オリジナル)

The Canonical Correlation Analysis (CCA) family of methods is foundational in multiview learning. Regularised linear CCA methods can be seen to generalise Partial Least Squares (PLS) and be unified with a Generalized Eigenvalue Problem (GEP) framework. However, classical algorithms for these linear methods are computationally infeasible for large-scale data. Extensions to Deep CCA show great promise, but current training procedures are slow and complicated. First we propose a novel unconstrained objective that characterizes the top subspace of GEPs. Our core contribution is a family of fast algorithms for stochastic PLS, stochastic CCA, and Deep CCA, simply obtained by applying stochastic gradient descent (SGD) to the corresponding CCA objectives. Our algorithms show far faster convergence and recover higher correlations than the previous state-of-the-art on all standard CCA and Deep CCA benchmarks. These improvements allow us to perform a first-of-its-kind PLS analysis of an extremely large biomedical dataset from the UK Biobank, with over 33,000 individuals and 500,000 features. Finally, we apply our algorithms to match the performance of `CCA-family’ Self-Supervised Learning (SSL) methods on CIFAR-10 and CIFAR-100 with minimal hyper-parameter tuning, and also present theory to clarify the links between these methods and classical CCA, laying the groundwork for future insights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google