Zero Coordinate Shift: Whetted Automatic Differentiation for Physics-informed Operator Learning

要約

自動微分 (AD) は、物理学に基づいた機械学習における重要なステップであり、ネットワーク出力の高次導関数を計算するために必要です。
コロケーションポイントの座標。
この論文では、ゼロ座標シフト (ZCS) のトリックと呼ばれる、物理情報に基づいたオペレーター学習のための AD を実行するための新規で軽量なアルゴリズムを紹介します。
すべてのサンプリングされた座標をリーフ変数として作成する代わりに、ZCS は空間次元または時間次元ごとにスカラー値のリーフ変数を 1 つだけ導入し、必要な導関数を「多根多葉」から「1 根多葉」に簡素化します。
これにより、リバースモードADが直接利用可能になります。
関数の次元 (物理パラメーター) に沿った計算グラフの重複を回避することで、パフォーマンスの大幅な向上につながりました。
ZCS は、現在の深層学習ライブラリを使用して簡単に実装できます。
私たち独自の実装は、DeepXDE パッケージを拡張することによって実現されます。
私たちは包括的なベンチマーク分析といくつかのケーススタディを実行し、データなしで偏微分方程式 (PDE) を解くために物理学に基づいた DeepONets をトレーニングします。
結果は、ZCS が GPU メモリ消費量とトレーニングの所要時間を継続的に 1 桁削減し、その削減係数が関数の数に応じて変化することを示しています。
低レベルの最適化手法として、ZCS はデータ、物理学 (PDE)、またはネットワーク アーキテクチャに制限を課さず、あらゆる側面からトレーニング結果を損なうことはありません。

要約(オリジナル)

Automatic differentiation (AD) is a critical step in physics-informed machine learning, required for computing the high-order derivatives of network output w.r.t. coordinates of collocation points. In this paper, we present a novel and lightweight algorithm to conduct AD for physics-informed operator learning, which we call the trick of Zero Coordinate Shift (ZCS). Instead of making all sampled coordinates as leaf variables, ZCS introduces only one scalar-valued leaf variable for each spatial or temporal dimension, simplifying the wanted derivatives from ‘many-roots-many-leaves’ to ‘one-root-many-leaves’ whereby reverse-mode AD becomes directly utilisable. It has led to an outstanding performance leap by avoiding the duplication of the computational graph along the dimension of functions (physical parameters). ZCS is easy to implement with current deep learning libraries; our own implementation is achieved by extending the DeepXDE package. We carry out a comprehensive benchmark analysis and several case studies, training physics-informed DeepONets to solve partial differential equations (PDEs) without data. The results show that ZCS has persistently reduced GPU memory consumption and wall time for training by an order of magnitude, and such reduction factor scales with the number of functions. As a low-level optimisation technique, ZCS imposes no restrictions on data, physics (PDE) or network architecture and does not compromise training results from any aspect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google