Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression

要約

この論文では、Physics-Informed Neural Networks (PINN) に合わせた動的な誤差制限付き階層行列 (H マトリクス) 圧縮方法を紹介します。
提案されたアプローチは、ニューラル タンジェント カーネル (NTK) の重要な特性を維持しながら、大規模な物理ベースのモデルの計算の複雑さとメモリの需要を軽減します。
局所的な誤差推定に基づいて階層行列近似を適応的に調整することにより、私たちの方法は効率的なトレーニングと堅牢なモデルのパフォーマンスを保証します。
経験的な結果は、この技術が高精度を維持し、一般化機能を向上させることにより、特異値分解 (SVD)、枝刈り、量子化などの従来の圧縮方法よりも優れていることを示しています。
さらに、ダイナミック H マトリックス手法により推論速度が向上し、リアルタイム アプリケーションに適しています。
このアプローチは、複雑な科学および工学ドメインに PINN を展開するためのスケーラブルで効率的なソリューションを提供し、計算上の実現可能性と現実世界の適用可能性の間のギャップを埋めます。

要約(オリジナル)

This paper introduces a dynamic, error-bounded hierarchical matrix (H-matrix) compression method tailored for Physics-Informed Neural Networks (PINNs). The proposed approach reduces the computational complexity and memory demands of large-scale physics-based models while preserving the essential properties of the Neural Tangent Kernel (NTK). By adaptively refining hierarchical matrix approximations based on local error estimates, our method ensures efficient training and robust model performance. Empirical results demonstrate that this technique outperforms traditional compression methods, such as Singular Value Decomposition (SVD), pruning, and quantization, by maintaining high accuracy and improving generalization capabilities. Additionally, the dynamic H-matrix method enhances inference speed, making it suitable for real-time applications. This approach offers a scalable and efficient solution for deploying PINNs in complex scientific and engineering domains, bridging the gap between computational feasibility and real-world applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google