Engineering software 2.0 by Interpolating Neural Networks: Unifying Training, Solving, and Calibration

要約

人工知能 (AI) とニューラル ネットワーク理論の進化は、ソフトウェアのプログラミング方法に革命をもたらし、ハードコーディングされた一連のコードであるソフトウェア 1.0 から、巨大なニューラル ネットワークであるソフトウェア 2.0 に移行しました。
しかし、エンジニアリング ソフトウェアのこの移行は、データの不足、データのマルチモダリティ、モデルの精度の低さ、推論の遅さなどの課題に直面しています。
ここでは、補間理論とテンソル分解に基づいた新しいネットワークである補間ニューラル ネットワーク (INN) を提案し、トレーニング、解決、キャリブレーションを統合するエンジニアリング ソフトウェア 2.0 の新時代を開きます。
コンピュータ サイエンスにおける一般的な概念であるトレーニング データを補間する代わりに、INN は、座標と値がトレーニング可能な物理空間内のグリッド ポイントを補間します。
INN は、多層パーセプトロン (MLP) や物理情報に基づいたニューラル ネットワークと比較して、トレーニング可能なパラメーター (または解決の自由度) が桁違いに少なく、トレーニング/解決が高速で、推論コストが低く、メモリ フットプリントが小さく、モデル精度が高いという特徴を備えています (
ピン）。
コンピューター サイエンスおよびエンジニアリングの領域をカバーするさまざまな数値実験により、INN がゼッタ スケール (10^{21}) にわたる偏微分方程式を解き、単一のグラフィックス プロセッシング ユニット (GPU) のみを使用して、並外れた精度で少ないパラメーターでデータセットをトレーニング/キャリブレーションできることが実証されました。
。

要約(オリジナル)

The evolution of artificial intelligence (AI) and neural network theories has revolutionized the way software is programmed, shifting from a hard-coded series of codes, Software 1.0, to a vast neural network, Software 2.0. However, this transition in engineering software has faced challenges such as data scarcity, multi-modality of data, low model accuracy, and slow inference. Here, we propose a new network based on interpolation theories and tensor decomposition, the interpolating neural network (INN) to open the new era of Engineering Software 2.0 that unifies training, solving, and calibration. Instead of interpolating training data, a common notion in computer science, INN interpolates grid points in the physical space whose coordinates and values are trainable. INN features orders of magnitude fewer trainable parameters (or degrees of freedom for solving), faster training/solving, less inference cost, smaller memory footprint, and higher model accuracy compared to multi-layer perceptron (MLP) or physics-informed neural networks (PINN). Various numerical experiments that cover computer science and engineering domains demonstrate that INN can solve over Zetta scale (10^{21}) partial differential equations and train/calibrate a dataset with extraordinary accuracy but fewer parameters using only a single graphics processing unit (GPU).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google