Adaptive Log-Euclidean Metrics for SPD Matrix Learning

要約

対称正定 (SPD) 行列は、データ内の基礎となる構造相関をエンコードする本質的な能力により、機械学習において広く注目されています。
SPD 多様体の非ユークリッド幾何学を反映するために、多くの成功したリーマン計量が提案されています。
ただし、既存のメトリック テンソルのほとんどは固定されているため、SPD 行列学習、特にディープ SPD ニューラル ネットワークのパフォーマンスが最適以下になる可能性があります。
この制限を解決するために、私たちは一般的に発生するプルバック手法を活用し、広く使用されている対数ユークリッド メトリック (LEM) を拡張する適応対数ユークリッド メトリック (ALEM) を提案します。
以前のリーマン メトリクスと比較して、私たちのメトリクスには学習可能なパラメータが含まれており、わずかな追加計算でリーマン ニューラル ネットワークの複雑なダイナミクスにうまく適応できます。
また、代数特性やリーマン特性など、ALEM をサポートするための完全な理論分析も提供します。
実験結果と理論結果は、SPD ニューラル ネットワークのパフォーマンス向上における提案されたメトリクスの利点を示しています。
私たちのメトリクスの有効性は、リーマン バッチ正規化、リーマン残差ブロック、リーマン分類器など、最近開発された一連のリーマン ビルディング ブロックでさらに実証されます。

要約(オリジナル)

Symmetric Positive Definite (SPD) matrices have received wide attention in machine learning due to their intrinsic capacity to encode underlying structural correlation in data. Many successful Riemannian metrics have been proposed to reflect the non-Euclidean geometry of SPD manifolds. However, most existing metric tensors are fixed, which might lead to sub-optimal performance for SPD matrix learning, especially for deep SPD neural networks. To remedy this limitation, we leverage the commonly encountered pullback techniques and propose Adaptive Log-Euclidean Metrics (ALEMs), which extend the widely used Log-Euclidean Metric (LEM). Compared with the previous Riemannian metrics, our metrics contain learnable parameters, which can better adapt to the complex dynamics of Riemannian neural networks with minor extra computations. We also present a complete theoretical analysis to support our ALEMs, including algebraic and Riemannian properties. The experimental and theoretical results demonstrate the merit of the proposed metrics in improving the performance of SPD neural networks. The efficacy of our metrics is further showcased on a set of recently developed Riemannian building blocks, including Riemannian batch normalization, Riemannian Residual blocks, and Riemannian classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google