Meta-Learning with Heterogeneous Tasks

要約

メタ学習は、多くのタスクを処理するときに少数ショットのシナリオを処理できる機能を機械学習モデルに装備するための一般的なアプローチです。
既存のメタ学習手法のほとんどは、すべてのタスクの重要性が等しいという前提に基づいて機能します。
ただし、実際のアプリケーションでは、さまざまな難易度、トレーニング サンプルのノイズ、または他のほとんどのタスクとは明らかに異なることを特徴とする異種タスクが存在することがよくあります。
この論文では、ランクベースのタスクレベルの学習目標である異種タスクロバストメタ学習（HeTRoM）を採用することで、そのような異種タスクを効果的に管理するように設計された新しいメタ学習方法を紹介します。
HeTRoM は異種タスクの処理に優れており、簡単なタスクでメタ学習者が圧倒されるのを防ぎます。
このアプローチにより、2 レベルの最適化に基づいた効率的な反復最適化アルゴリズムが可能になり、その後、統計的なガイダンスを統合することで改善されます。
私たちの実験結果は、私たちの方法が柔軟性を提供し、ユーザーが多様なタスク設定に適応できるようにし、メタ学習者の全体的なパフォーマンスを向上させることを示しています。

要約(オリジナル)

Meta-learning is a general approach to equip machine learning models with the ability to handle few-shot scenarios when dealing with many tasks. Most existing meta-learning methods work based on the assumption that all tasks are of equal importance. However, real-world applications often present heterogeneous tasks characterized by varying difficulty levels, noise in training samples, or being distinctively different from most other tasks. In this paper, we introduce a novel meta-learning method designed to effectively manage such heterogeneous tasks by employing rank-based task-level learning objectives, Heterogeneous Tasks Robust Meta-learning (HeTRoM). HeTRoM is proficient in handling heterogeneous tasks, and it prevents easy tasks from overwhelming the meta-learner. The approach allows for an efficient iterative optimization algorithm based on bi-level optimization, which is then improved by integrating statistical guidance. Our experimental results demonstrate that our method provides flexibility, enabling users to adapt to diverse task settings and enhancing the meta-learner’s overall performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google