Personalized PCA: Decoupling Shared and Unique Features

要約

この論文では、PCA における重要な課題である異質性に取り組みます。
ある程度の一致性を共有しながら、異質な傾向を持つさまざまなソースからデータを収集する場合、各ソースの固有の特徴を保持しながら共有された知識を抽出することが重要です。
この目的を達成するために、相互に直交するグローバル主成分とローカル主成分を使用して固有の特徴と共有された特徴の両方をエンコードするパーソナライズされた PCA (PerPCA) を提案します。
穏やかな条件下では、たとえ共分散行列が非常に異なっていたとしても、固有の特徴と共有された特徴の両方が、制約付き最適化問題によって識別および回復できることを示します。
また、問題を解決するために、分散型シュティーフェル勾配降下法にヒントを得た完全フェデレーテッド アルゴリズムを設計します。
このアルゴリズムでは、直交性制約を処理するために一般化リトラクションと呼ばれる新しい操作グループが導入されており、ソース間で共有されるグローバル PC のみが必要です。
適切な仮定の下でアルゴリズムの線形収束を証明します。
包括的な数値実験により、異種データセットからの特徴抽出と予測における PerPCA の優れたパフォーマンスが強調されます。
PerPCA は、異種データセットから共有機能と独自機能を分離する体系的なアプローチとして、ビデオ セグメンテーション、トピック抽出、機能クラスタリングなどのいくつかのタスクに応用されています。

要約(オリジナル)

In this paper, we tackle a significant challenge in PCA: heterogeneity. When data are collected from different sources with heterogeneous trends while still sharing some congruency, it is critical to extract shared knowledge while retaining the unique features of each source. To this end, we propose personalized PCA (PerPCA), which uses mutually orthogonal global and local principal components to encode both unique and shared features. We show that, under mild conditions, both unique and shared features can be identified and recovered by a constrained optimization problem, even if the covariance matrices are immensely different. Also, we design a fully federated algorithm inspired by distributed Stiefel gradient descent to solve the problem. The algorithm introduces a new group of operations called generalized retractions to handle orthogonality constraints, and only requires global PCs to be shared across sources. We prove the linear convergence of the algorithm under suitable assumptions. Comprehensive numerical experiments highlight PerPCA’s superior performance in feature extraction and prediction from heterogeneous datasets. As a systematic approach to decouple shared and unique features from heterogeneous datasets, PerPCA finds applications in several tasks, including video segmentation, topic extraction, and feature clustering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google