MODNO: Multi Operator Learning With Distributed Neural Operators

要約

演算子学習の研究では、ニューラルネットワークを利用して演算子を近似する。従来は、単一演算子学習（SOL）が中心であった。しかし、近年の進歩により、数百万から数十億の訓練可能なパラメータを備えた基礎モデルを用いた複数のオペレータの近似へと急速に拡大し、マルチオペレータ学習（MOL）の研究へとつながっている。本論文では、平均的なコストを追加することなく、少ないパラメータを持つ単一のニューラル演算子でマルチ演算子学習の課題に効果的に取り組むことを目的とした、新しい分散学習アプローチを紹介する。我々の手法は、Deep Operator Neural Networks (DON)のような、様々なChen-Chenタイプのニューラル演算子に適用可能である。核となる考え方は、各演算子専用のデータを用いて各演算子の出力基底関数を独立に学習すると同時に、全データセットを用いて全演算子で共有される入力関数エンコーディングの学習を一元化することである。5つの数値例を用いた系統的な研究を通じて、各オペレータに対して独立に単一のニューラル・オペレータを学習する場合と、提案手法を用いたMOLモデルの学習とで、精度とコストを比較する。その結果、効率が向上し、満足のいく精度が得られた。さらに、我々のアプローチは、限られたデータしか持たない演算子でも、MOL学習により類似演算子のデータを利用することで、より効果的に演算子を構築できることを示す。このことは、オペレータ学習を強化するもう一つのMOLの可能性を強調している。

要約(オリジナル)

The study of operator learning involves the utilization of neural networks to approximate operators. Traditionally, the focus has been on single-operator learning (SOL). However, recent advances have rapidly expanded this to include the approximation of multiple operators using foundation models equipped with millions or billions of trainable parameters, leading to the research of multi-operator learning (MOL). In this paper, we present a novel distributed training approach aimed at enabling a single neural operator with significantly fewer parameters to effectively tackle multi-operator learning challenges, all without incurring additional average costs. Our method is applicable to various Chen-Chen-type neural operators, such as Deep Operator Neural Networks (DON). The core idea is to independently learn the output basis functions for each operator using its dedicated data, while simultaneously centralizing the learning of the input function encoding shared by all operators using the entire dataset. Through a systematic study of five numerical examples, we compare the accuracy and cost of training a single neural operator for each operator independently versus training a MOL model using our proposed method. Our results demonstrate enhanced efficiency and satisfactory accuracy. Moreover, our approach illustrates that some operators with limited data can be more effectively constructed with the aid of data from analogous operators through MOL learning. This highlights another MOL’s potential to bolster operator learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL