Few-shot Multi-Task Learning of Linear Invariant Features with Meta Subspace Pursuit

要約

データ不足は、現代の機械学習と人工知能にとって深刻な脅威となっています。それらの実際的な成功は、通常、大きなデータセットの可用性に依存しているからです。
データ不足の問題を軽減するための効果的な戦略の 1 つは、まず研究設計段階で特定の類似性を持つ他のデータ ソースからの情報を利用し、次に分析段階でマルチタスクまたはメタ学習フレームワークを採用することです。
この論文では、タスク間の係数が不変の低ランク成分を共有するマルチタスク (またはマルチソース) 線形モデルに焦点を当てます。これは、最近のマルチタスクまたはメタ学習の文献で考慮されている一般的な構造仮定です。
この仮定の下で、我々は、異なるタスクによって共有されるこの不変部分空間を証明可能に学習する、メタ部分空間追跡（Meta-SPと略される）と呼ばれる新しいアルゴリズムを提案する。
マルチタスクまたはメタ学習用のこの様式化された設定の下で、提案された方法のアルゴリズムと統計の両方の保証が確立されます。
広範な数値実験が実施され、ANIL などの一般的な既製のモデルに依存しないメタ学習アルゴリズムを含むいくつかの競合手法と Meta-SP が比較されます。
これらの実験は、Meta-SP がさまざまな面で競合する方法よりも優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Data scarcity poses a serious threat to modern machine learning and artificial intelligence, as their practical success typically relies on the availability of big datasets. One effective strategy to mitigate the issue of insufficient data is to first harness information from other data sources possessing certain similarities in the study design stage, and then employ the multi-task or meta learning framework in the analysis stage. In this paper, we focus on multi-task (or multi-source) linear models whose coefficients across tasks share an invariant low-rank component, a popular structural assumption considered in the recent multi-task or meta learning literature. Under this assumption, we propose a new algorithm, called Meta Subspace Pursuit (abbreviated as Meta-SP), that provably learns this invariant subspace shared by different tasks. Under this stylized setup for multi-task or meta learning, we establish both the algorithmic and statistical guarantees of the proposed method. Extensive numerical experiments are conducted, comparing Meta-SP against several competing methods, including popular, off-the-shelf model-agnostic meta learning algorithms such as ANIL. These experiments demonstrate that Meta-SP achieves superior performance over the competing methods in various aspects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google