A Nested Matrix-Tensor Model for Noisy Multi-view Clustering

要約

この論文では、次数 3 のスパイクされたランク 1 テンソル モデルを拡張する入れ子行列テンソル モデルを提案します。
このモデルは特に、各データ ポイントの複数のノイズのある観測値が取得され、ビューに沿った分散が不均一になる可能性があるマルチビュー クラスタリング問題によって動機付けられています。
この場合、データはビューが積み重ねられた次数 3 のテンソルで自然に表現できます。
このようなテンソルを考慮して、最良のランク 1 テンソル近似を実行することで隠れクラスターの推定を検討します。
このアプローチの理論的パフォーマンスを研究するために、大次元領域における、得られたコンポーネント ベクトルと隠れモデル パラメーター ベクトルの位置合わせという観点から、この最良のランク 1 近似の動作を特徴付けます。
特に、理論的な結果により、提案されたクラスタリングアプローチの正確な精度を予測できることを示します。
さらに、数値実験では、テンソルベースのアプローチを活用すると、基礎となる低ランクのテンソル構造を無視する単純なアンフォールディングベースのアルゴリズムと比較して、より高い精度が得られることが示されています。
私たちの解析では、スパイク行列とテンソル モデルで観察された典型的な挙動の間を「補間」し、モデル パラメーターに応じて予期せぬ自明ではない相転移現象が明らかになりました。

要約(オリジナル)

In this paper, we propose a nested matrix-tensor model which extends the spiked rank-one tensor model of order three. This model is particularly motivated by a multi-view clustering problem in which multiple noisy observations of each data point are acquired, with potentially non-uniform variances along the views. In this case, data can be naturally represented by an order-three tensor where the views are stacked. Given such a tensor, we consider the estimation of the hidden clusters via performing a best rank-one tensor approximation. In order to study the theoretical performance of this approach, we characterize the behavior of this best rank-one approximation in terms of the alignments of the obtained component vectors with the hidden model parameter vectors, in the large-dimensional regime. In particular, we show that our theoretical results allow us to anticipate the exact accuracy of the proposed clustering approach. Furthermore, numerical experiments indicate that leveraging our tensor-based approach yields better accuracy compared to a naive unfolding-based algorithm which ignores the underlying low-rank tensor structure. Our analysis unveils unexpected and non-trivial phase transition phenomena depending on the model parameters, “interpolating” between the typical behavior observed for the spiked matrix and tensor models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google