Function Encoders: A Principled Approach to Transfer Learning in Hilbert Spaces

要約

転送学習の中心的な課題は、再訓練なしで新しいタスクに迅速に適応し、一般化できるアルゴリズムを設計することです。
しかし、アルゴリズムがいつ、どのように新しいタスクに効果的に転送できるかの条件の特性は不十分です。
ヒルバート空間での転送の幾何学的特性評価を導入し、凸船体内の補間、線形スパンへの外挿、およびスパン外の外挿：3種類の誘導転移を定義します。
3種類の転送すべてを達成するために、機能の理論エンコーダーに基づいた方法を提案します。
具体的には、最小二乗最適化を使用して関数エンコーダーの新しいトレーニングスキームを導入し、関数エンコーダの普遍的な近似定理を証明し、4つの多様なベンチマークでの変圧器やメタラーニングなどの既存のアプローチと包括的な比較を提供します。
私たちの実験は、関数エンコーダーが4つのベンチマークタスクと3種類の転送すべてで最先端の方法を上回ることを示しています。

要約(オリジナル)

A central challenge in transfer learning is designing algorithms that can quickly adapt and generalize to new tasks without retraining. Yet, the conditions of when and how algorithms can effectively transfer to new tasks is poorly characterized. We introduce a geometric characterization of transfer in Hilbert spaces and define three types of inductive transfer: interpolation within the convex hull, extrapolation to the linear span, and extrapolation outside the span. We propose a method grounded in the theory of function encoders to achieve all three types of transfer. Specifically, we introduce a novel training scheme for function encoders using least-squares optimization, prove a universal approximation theorem for function encoders, and provide a comprehensive comparison with existing approaches such as transformers and meta-learning on four diverse benchmarks. Our experiments demonstrate that the function encoder outperforms state-of-the-art methods on four benchmark tasks and on all three types of transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google