Fun with Flags: Robust Principal Directions via Flag Manifolds

要約

主成分分析 (PCA) は、多様体や外れ値の汚染データへの拡張とともに、コンピューター ビジョンと機械学習に不可欠なものとなっています。
この研究では、PCA とその変形の統一形式主義を提示し、線形部分空間のフラグに基づくフレームワーク、つまり、次元が増加する入れ子になった線形部分空間の階層を導入します。これにより、共通の実装が可能になるだけでなく、次のような結果が得られます。
これまでに調査されていない新しいバリアント。
まず、分散を最大化するか再構成誤差を最小化する従来の PCA 手法を一般化します。
私たちはこれらの解釈を拡張して、外れ値とデータ多様体を考慮して、さまざまな新しい次元削減アルゴリズムを開発します。
共通の計算アプローチを考案するために、堅牢な双対形式の PCA をフラグ多様体上の最適化問題として再構築しました。
次に、主測地線解析 (tangent-PCA) の接線空間近似をこのフラグベースのフレームワークに統合し、新しい堅牢なデュアル測地線 PCA のバリエーションを作成します。
ここで紹介した「フラグ化」によって提供される驚くべき柔軟性により、特定のフラグ タイプによって識別されるさらに多くのアルゴリズムのバリアントが可能になります。
最後になりましたが、Stiefel 多様体を使用したこれらのフラグ定式化に対する効果的な収束ソルバーを提案します。
現実世界と合成シナリオの両方に関する私たちの経験的結果は、特に多様体上の外れ値に対する堅牢性の点で、私たちの新しいアルゴリズムの優位性を示しています。

要約(オリジナル)

Principal component analysis (PCA), along with its extensions to manifolds and outlier contaminated data, have been indispensable in computer vision and machine learning. In this work, we present a unifying formalism for PCA and its variants, and introduce a framework based on the flags of linear subspaces, \ie a hierarchy of nested linear subspaces of increasing dimension, which not only allows for a common implementation but also yields novel variants, not explored previously. We begin by generalizing traditional PCA methods that either maximize variance or minimize reconstruction error. We expand these interpretations to develop a wide array of new dimensionality reduction algorithms by accounting for outliers and the data manifold. To devise a common computational approach, we recast robust and dual forms of PCA as optimization problems on flag manifolds. We then integrate tangent space approximations of principal geodesic analysis (tangent-PCA) into this flag-based framework, creating novel robust and dual geodesic PCA variations. The remarkable flexibility offered by the ‘flagification’ introduced here enables even more algorithmic variants identified by specific flag types. Last but not least, we propose an effective convergent solver for these flag-formulations employing the Stiefel manifold. Our empirical results on both real-world and synthetic scenarios, demonstrate the superiority of our novel algorithms, especially in terms of robustness to outliers on manifolds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google