Evaluating Data Influence in Meta Learning

要約

最も基本的なモデルの1つとして、Meta Learningは、少数のショット学習の課題に効果的に対処することを目指しています。
ただし、大規模なデータセットでの多くの低販売タスクや誤ったラベルからの実質的なノイズによるトレーニングの非効率性など、トレーニングデータに関連する重要な問題に依然として直面しています。
したがって、メタ学習にはデータの帰属方法のトレーニングが必要です。
ただし、MATA学習の二重層構造は、メタパラメーターとタスク固有のパラメーターの間の相互依存の影響により、トレーニングデータの貢献のモデリングを複雑にし、既存のデータに評価ツールに適用できないか不正確に影響を与えます。
影響関数に基づいてこれらの課題に対処するために、Bilevel Optimizationフレームワーク内でメタ学習のための一般的なデータ属性評価フレームワークを提案します。
私たちのアプローチでは、タスクの影響力関数（タスク-IF）とインスタンスの影響関数（Instance-IF）を導入して、特定のタスクと個々のデータポイントの閉じた形式の影響を正確に評価します。
このフレームワークは、内部トレーニングと外側の両方のトレーニングプロセスにおけるデータの貢献を包括的にモデル化し、メタパラメーターに対するデータポイントの直接的な効果と、タスク固有のパラメーターを通じて間接的な影響をキャプチャします。
また、計算効率とスケーラビリティを強化するためのいくつかの戦略も提供しています。
実験結果は、いくつかのダウンストリームタスクを介してデータ評価をトレーニングする際のフレームワークの有効性を示しています。

要約(オリジナル)

As one of the most fundamental models, meta learning aims to effectively address few-shot learning challenges. However, it still faces significant issues related to the training data, such as training inefficiencies due to numerous low-contribution tasks in large datasets and substantial noise from incorrect labels. Thus, training data attribution methods are needed for meta learning. However, the dual-layer structure of mata learning complicates the modeling of training data contributions because of the interdependent influence between meta-parameters and task-specific parameters, making existing data influence evaluation tools inapplicable or inaccurate. To address these challenges, based on the influence function, we propose a general data attribution evaluation framework for meta-learning within the bilevel optimization framework. Our approach introduces task influence functions (task-IF) and instance influence functions (instance-IF) to accurately assess the impact of specific tasks and individual data points in closed forms. This framework comprehensively models data contributions across both the inner and outer training processes, capturing the direct effects of data points on meta-parameters as well as their indirect influence through task-specific parameters. We also provide several strategies to enhance computational efficiency and scalability. Experimental results demonstrate the framework’s effectiveness in training data evaluation via several downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google