Fine-Tune Language Models as Differential Equation Solvers

要約

科学機械学習の成長分野において、インコンテキスト演算子学習は、重み更新を行わない推論段階で、演算子を学習し、プロンプトデータを使用して微分方程式を解く際に顕著な可能性を示しています。
しかし、現在のモデルは関数データに過度に依存しているため、オペレーターに対する人間の貴重な洞察をうっかり見落としてしまう可能性があります。
これに対処するために、コンテキスト内のオペレーター学習をマルチモーダル パラダイムに変換する方法を提案します。
特に、私たちは大規模言語モデルの最近の成功からインスピレーションを得て、「キャプション」を使用して、自然言語の記述と方程式を通じて表現されるオペレーターに関する人間の知識を統合することを提案します。
また、コンテキスト内のオペレーター学習のために、言語モデルのようなアーキテクチャをトレーニングしたり、既存の言語モデルを直接微調整したりするための新しいアプローチを紹介します。
私たちはシングルモーダル学習タスクのベースラインを上回り、パフォーマンスの向上と関数データ要件の削減におけるマルチモーダル学習の有効性も実証しました。
提案された方法は、コンテキスト内のオペレーター学習を大幅に改善するだけでなく、言語モデルの適用のための新しいパスも作成します。

要約(オリジナル)

In the growing domain of scientific machine learning, in-context operator learning has shown notable potential in learning operators and solving differential equations using prompted data, during the inference stage without weight updates. However, the current model’s overdependence on function data, may inadvertently overlook the invaluable human insight into the operator. To address this, we present a transformation of in-context operator learning into a multi-modal paradigm. In particular, we take inspiration from the recent success of large language models, and propose using ‘captions’ to integrate human knowledge about the operator, expressed through natural language descriptions and equations. Also, we introduce a novel approach to train a language-model-like architecture, or directly fine-tune existing language models, for in-context operator learning. We beat the baseline on single-modal learning tasks, and also demonstrated the effectiveness of multi-modal learning in enhancing performance and reducing function data requirements. The proposed method not only significantly improves in-context operator learning, but also creates a new path for the application of language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google