Heuristic-Free Multi-Teacher Learning

要約

手動による集計ヒューリスティックの必要性を排除する、複数教師による学習のための新しいフレームワークである Teacher2Task を紹介します。
既存の複数教師手法は通常、このようなヒューリスティックに依存して複数の教師からの予測を組み合わせるため、最適ではない集約ラベルや集約エラーの伝播が生じることがよくあります。
Teacher2Task は、教師固有の入力トークンを導入し、トレーニング プロセスを再定式化することで、これらの制限に対処します。
このフレームワークは、集約されたラベルに依存する代わりに、N 人の教師からのグラウンド トゥルース ラベルと注釈で構成されるトレーニング データを N+1 個の個別のタスク (N 人の個々の教師のラベル付けスタイルを予測する N 個の補助タスク) と 1 つの主要タスクに変換します。
これは、グラウンド トゥルース ラベルに焦点を当てています。
このアプローチは、複数の学習パラダイムの原則に基づいており、さまざまなアーキテクチャ、モダリティ、タスクにわたって強力な経験的結果を示しています。

要約(オリジナル)

We introduce Teacher2Task, a novel framework for multi-teacher learning that eliminates the need for manual aggregation heuristics. Existing multi-teacher methods typically rely on such heuristics to combine predictions from multiple teachers, often resulting in sub-optimal aggregated labels and the propagation of aggregation errors. Teacher2Task addresses these limitations by introducing teacher-specific input tokens and reformulating the training process. Instead of relying on aggregated labels, the framework transforms the training data, consisting of ground truth labels and annotations from N teachers, into N+1 distinct tasks: N auxiliary tasks that predict the labeling styles of the N individual teachers, and one primary task that focuses on the ground truth labels. This approach, drawing upon principles from multiple learning paradigms, demonstrates strong empirical results across a range of architectures, modalities, and tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google