Harnessing Orthogonality to Train Low-Rank Neural Networks

要約

この研究では、トレーニング中の重みの特異値分解 (SVD) を分析することにより、ニューラル ネットワークの学習ダイナミクスを調査します。
私たちの調査により、各多次元重みの SVD 表現内の直交基底がトレーニング中に安定することが明らかになりました。
これに基づいて、ニューラル ネットワークの固有の直交性を利用した新しいトレーニング方法である Orthogonality-Informed Adaptive Low-Rank (OIALR) トレーニングを紹介します。
OIALR は、さまざまなデータセットと確立されたネットワーク アーキテクチャでのベンチマークによって実証されているように、精度の損失を最小限に抑えながら既存のトレーニング ワークフローにシームレスに統合します。
適切なハイパーパラメータ調整により、OIALR は最先端のモデルを含む従来のトレーニング設定を超えることができます。

要約(オリジナル)

This study explores the learning dynamics of neural networks by analyzing the singular value decomposition (SVD) of their weights throughout training. Our investigation reveals that an orthogonal basis within each multidimensional weight’s SVD representation stabilizes during training. Building upon this, we introduce Orthogonality-Informed Adaptive Low-Rank (OIALR) training, a novel training method exploiting the intrinsic orthogonality of neural networks. OIALR seamlessly integrates into existing training workflows with minimal accuracy loss, as demonstrated by benchmarking on various datasets and well-established network architectures. With appropriate hyperparameter tuning, OIALR can surpass conventional training setups, including those of state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google