Transformer Meets Boundary Value Inverse Problems

要約

深刻な病的状態である非線形境界値逆問題として知られる電気インピーダンス・トモグラフィに対して、トランスフォーマーを用いたディープ・ダイレクト・サンプリング法を提案する。慎重に設計されたデータと再構成された画像の間で学習された逆演算子を評価することにより、実時間再構成が達成される。数学的問題の理論的構造を利用して、タスク指向で構造に適合したディープニューラルネットワークを開発することができるのか、またどのようにできるのかという基本的な疑問に対して、具体的な例を挙げる努力がなされている。具体的には、逆問題のダイレクトサンプリング法に触発され、異なる周波数の1次元境界データを偏微分方程式ベースの特徴マップによって前処理し、異なる入力チャンネルとして2次元調和拡張を得る。次に、学習可能な非局所カーネルを導入することで、ダイレクトサンプリングは修正された注意メカニズムに生まれ変わる。この新しい手法は、前任者や現代の演算子学習器よりも優れた精度を達成し、ベンチマークではノイズに対する頑健性を示している。この研究により、自然言語処理タスクのために考案されたにもかかわらず、注意メカニズムは、先験的な数学的知識に合わせて変更できる大きな柔軟性を持っており、最終的には、より物理学に適合した神経アーキテクチャの設計につながるという洞察を強めることができる。

要約(オリジナル)

A Transformer-based deep direct sampling method is proposed for electrical impedance tomography, a well-known severely ill-posed nonlinear boundary value inverse problem. A real-time reconstruction is achieved by evaluating the learned inverse operator between carefully designed data and the reconstructed images. An effort is made to give a specific example to a fundamental question: whether and how one can benefit from the theoretical structure of a mathematical problem to develop task-oriented and structure-conforming deep neural networks? Specifically, inspired by direct sampling methods for inverse problems, the 1D boundary data in different frequencies are preprocessed by a partial differential equation-based feature map to yield 2D harmonic extensions as different input channels. Then, by introducing learnable non-local kernels, the direct sampling is recast to a modified attention mechanism. The new method achieves superior accuracy over its predecessors and contemporary operator learners and shows robustness to noises in benchmarks. This research shall strengthen the insights that, despite being invented for natural language processing tasks, the attention mechanism offers great flexibility to be modified in conformity with the a priori mathematical knowledge, which ultimately leads to the design of more physics-compatible neural architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL