GINN-KAN: Interpretability pipelining with applications in Physics Informed Neural Networks

要約

ニューラル ネットワークは強力な関数近似ツールですが、その「ブラック ボックス」の性質により、多くの場合、ニューラル ネットワークは不透明で解釈が困難になります。
事後的な説明方法は数多く存在しますが、通常、それらはネットワークの根底にある推論プロセスを捉えることができません。
真に解釈可能なニューラル ネットワークは、バックプロパゲーションなどの手法を使用して従来のモデルと同様にトレーニングされますが、学習された入出力関係についての洞察もさらに提供します。
この研究では、解釈可能性パイプラインの概念を導入し、複数の解釈可能性手法を組み込んで、個々の手法を上回るパフォーマンスを実現します。
この目的を達成するために、私たちは最初に、そのような解釈可能性を約束するいくつかのアーキテクチャを評価します。特に、バックプロパゲーションを活用しながら標準ニューラル ネットワーク アーキテクチャに解釈可能性を組み込む可能性を考慮して選択された 2 つの最近のモデル、Growing Interpretable Neural Network (GINN) と Kolmogorov Arnold に焦点を当てます。
ネットワーク（KAN）。
それぞれの制限と長所を分析し、両方のモデルの利点を統合した新しい解釈可能なニューラル ネットワーク GINN-KAN を紹介します。
ファインマン記号回帰ベンチマーク データセットでテストすると、GINN-KAN は GINN と KAN の両方を上回ります。
このアプローチの機能と一般化可能性を強調するために、私たちは GINN-KAN を物理情報に基づいたニューラル ネットワーク (PINN) における従来のブラック ボックス ネットワークの代替として位置づけます。
私たちは、これが自然科学における深層学習パイプラインの応用に広範囲に影響を与えると期待しています。
15 の異なる偏微分方程式でこの解釈可能な PINN を使用した実験では、GINN-KAN 拡張 PINN が微分方程式を解く際にブラック ボックス ネットワークを備えた PINN よりも優れており、GINN と KAN の両方の能力を上回っていることが実証されました。

要約(オリジナル)

Neural networks are powerful function approximators, yet their “black-box’ nature often renders them opaque and difficult to interpret. While many post-hoc explanation methods exist, they typically fail to capture the underlying reasoning processes of the networks. A truly interpretable neural network would be trained similarly to conventional models using techniques such as backpropagation, but additionally provide insights into the learned input-output relationships. In this work, we introduce the concept of interpretability pipelineing, to incorporate multiple interpretability techniques to outperform each individual technique. To this end, we first evaluate several architectures that promise such interpretability, with a particular focus on two recent models selected for their potential to incorporate interpretability into standard neural network architectures while still leveraging backpropagation: the Growing Interpretable Neural Network (GINN) and Kolmogorov Arnold Networks (KAN). We analyze the limitations and strengths of each and introduce a novel interpretable neural network GINN-KAN that synthesizes the advantages of both models. When tested on the Feynman symbolic regression benchmark datasets, GINN-KAN outperforms both GINN and KAN. To highlight the capabilities and the generalizability of this approach, we position GINN-KAN as an alternative to conventional black-box networks in Physics-Informed Neural Networks (PINNs). We expect this to have far-reaching implications in the application of deep learning pipelines in the natural sciences. Our experiments with this interpretable PINN on 15 different partial differential equations demonstrate that GINN-KAN augmented PINNs outperform PINNs with black-box networks in solving differential equations and surpass the capabilities of both GINN and KAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google