In-Context Operator Learning for Differential Equation Problems

要約

タイトル：微分方程式問題のためのインコンテキスト演算子学習
要約：
– IN-context Differential Equation Encoder-Decoder（INDEED）という新しいニューラルネットワークベースのアプローチを紹介する。
– INDEEDは、データからオペレータを同時に学習し、推論段階で新しい問題に適用することができる。
– 従来の方法は、特定の方程式の解または特定のオペレータを近似するためにニューラルネットワークを使用するという制限がある。
– 一つのニューラルネットワークをオペレータ学習器としてトレーニングすることにより、新しい問題に対してニューラルネットワークを再トレーニングする必要がなくなり、さらにオペレータ間で共通した要素を活用できるため、新しいオペレータを学習するときには、わずかなデモのみが必要となる。
– 数値実験により、多様な種類の微分方程式問題に対して、ニューラルネットワークがフューショットオペレータ学習器としての能力を示し、ODEとPDEの順方向および逆方向の問題を含む。
– さらに、学習分布を超えたオペレータに対しても、学習能力を汎化できることが示されている。

要約(オリジナル)

This paper introduces a new neural-network-based approach, namely IN-context Differential Equation Encoder-Decoder (INDEED), to simultaneously learn operators from data and apply it to new questions during the inference stage, without any weight update. Existing methods are limited to using a neural network to approximate a specific equation solution or a specific operator, requiring retraining when switching to a new problem with different equations. By training a single neural network as an operator learner, we can not only get rid of retraining (even fine-tuning) the neural network for new problems, but also leverage the commonalities shared across operators so that only a few demos are needed when learning a new operator. Our numerical results show the neural network’s capability as a few-shot operator learner for a diversified type of differential equation problems, including forward and inverse problems of ODEs and PDEs, and also show that it can generalize its learning capability to operators beyond the training distribution, even to an unseen type of operator.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI