Learning Functional Transduction

要約

機械学習の研究は、回帰タスクに対する 2 つの一般的なアプローチに二極化しています。 変換手法は利用可能なデータから直接推定値を構築しますが、通常は問題が特定されません。
帰納的手法はより具体的ですが、一般に計算集約型のソリューション検索が必要です。
この研究では、ハイブリッド アプローチを提案し、ベクトル値の再生カーネル バナッハ空間 (RKBS) の理論を活用することで、勾配降下法を通じて変換回帰原理をメタ学習して、効率的なコンテキスト内ニューラル近似器を形成できることを示します。
このアプローチを有限次元および無限次元の空間上で定義された関数空間 (関数値演算子) に適用し、一度トレーニングされると、トランスデューサーが入力と出力の例のいくつかのペアが与えられた場合にほぼ瞬時に無限の関数関係を捕捉し、新しい値を返すことができることを示します。
画像の見積もり。
私たちは、偏微分方程式や気候モデリングアプリケーションに対する通常の深層学習トレーニングの計算コストの数分の一で、少量のデータを使用して、さまざまな外部要因の影響を受ける複雑な物理システムをモデル化するメタ学習変換アプローチの利点を実証します。

要約(オリジナル)

Research in machine learning has polarized into two general approaches for regression tasks: Transductive methods construct estimates directly from available data but are usually problem unspecific. Inductive methods can be much more specific but generally require compute-intensive solution searches. In this work, we propose a hybrid approach and show that transductive regression principles can be meta-learned through gradient descent to form efficient in-context neural approximators by leveraging the theory of vector-valued Reproducing Kernel Banach Spaces (RKBS). We apply this approach to function spaces defined over finite and infinite-dimensional spaces (function-valued operators) and show that once trained, the Transducer can almost instantaneously capture an infinity of functional relationships given a few pairs of input and output examples and return new image estimates. We demonstrate the benefit of our meta-learned transductive approach to model complex physical systems influenced by varying external factors with little data at a fraction of the usual deep learning training computational cost for partial differential equations and climate modeling applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google