Efficient algorithms for the Hadamard decomposition

要約

Hadamard分解は、データ分析とマトリックス圧縮の強力な手法であり、特定のマトリックスを2つ以上の低ランクマトリックスの要素ごとの積に分解します。
このホワイトペーパーでは、この問題を解決するための効率的なアルゴリズムを開発し、グローバルな非凸の問題を一連の凸状のサブ問題に分解する交互の最適化アプローチを活用します。
パフォーマンスを向上させるために、特異値分解（SVD）に触発された高度な初期化戦略を調査し、運動量ベースの更新を導入することにより加速手法を組み込みます。
2マトリックスケースの最適化を超えて、Hadamard分解フレームワークを拡張して、2つ以上の低ランクマトリックスをサポートし、計算効率を維持しながらより高い有効ランクの近似を可能にします。
最後に、私たちの方法を、Hadamard分解のための既存の勾配降下ベースのアプローチと従来の低ランク近似技術と比較するために、広範な実験を実施します。
結果は、多様なデータセット全体で提案された方法の有効性を強調しています。

要約(オリジナル)

The Hadamard decomposition is a powerful technique for data analysis and matrix compression, which decomposes a given matrix into the element-wise product of two or more low-rank matrices. In this paper, we develop an efficient algorithm to solve this problem, leveraging an alternating optimization approach that decomposes the global non-convex problem into a series of convex sub-problems. To improve performance, we explore advanced initialization strategies inspired by the singular value decomposition (SVD) and incorporate acceleration techniques by introducing momentum-based updates. Beyond optimizing the two-matrix case, we also extend the Hadamard decomposition framework to support more than two low-rank matrices, enabling approximations with higher effective ranks while preserving computational efficiency. Finally, we conduct extensive experiments to compare our method with the existing gradient descent-based approaches for the Hadamard decomposition and with traditional low-rank approximation techniques. The results highlight the effectiveness of our proposed method across diverse datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google