Scalable Meta-Learning with Gaussian Processes

要約

メタ学習は、同じ分布から新しい課題を素早く解くために、過去のデータを利用する強力なアプローチである。低データ領域では、ガウス過程(GP)の閉形式の事後分布をベイズ最適化とともに利用する手法が高い性能を達成してきた。しかし、これらの手法は計算コストが高いか、タスクモデル間の不確実性の原理的な伝播を妨げる仮定を導入している。これは最適化中の探索と利用のバランスを崩す可能性がある。本論文では、タスク数のスケーラブルなメタ学習のためのモジュラーGPモデルであるScaML-GPを開発する。我々の主な貢献は、階層的な学習とタスクのスケーラビリティを可能にする、注意深く設計されたマルチタスクカーネルである。ScaML-GPをメタデータ上で条件付けることで、そのモジュール性が明らかになり、メタタスクGPの後置を組み合わせたテストタスク事前分布を得ることができる。合成および実世界のメタ学習実験において、ScaML-GPが少ないメタタスクでも多いメタタスクでも効率的に学習できることを示す。

要約(オリジナル)

Meta-learning is a powerful approach that exploits historical data to quickly solve new tasks from the same distribution. In the low-data regime, methods based on the closed-form posterior of Gaussian processes (GP) together with Bayesian optimization have achieved high performance. However, these methods are either computationally expensive or introduce assumptions that hinder a principled propagation of uncertainty between task models. This may disrupt the balance between exploration and exploitation during optimization. In this paper, we develop ScaML-GP, a modular GP model for meta-learning that is scalable in the number of tasks. Our core contribution is a carefully designed multi-task kernel that enables hierarchical training and task scalability. Conditioning ScaML-GP on the meta-data exposes its modular nature yielding a test-task prior that combines the posteriors of meta-task GPs. In synthetic and real-world meta-learning experiments, we demonstrate that ScaML-GP can learn efficiently both with few and many meta-tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL