Heuristic-Free Multi-Teacher Learning

要約

Multi-Teacher学習のための新しいフレームワークであるTeacher2Taskを紹介します。
既存のマルチ教師の方法は通常、このようなヒューリスティックに依存して複数の教師からの予測を組み合わせており、多くの場合、最適な集計ラベルと集約エラーの伝播をもたらします。
Teacher2Taskは、教師固有の入力トークンを導入し、トレーニングプロセスを再編成することにより、これらの制限に対処します。
集約されたラベルに依存する代わりに、フレームワークは、グラウンドトゥルースラベルとN教師からの注釈で構成されるトレーニングデータをN+1の異なるタスクに変換します。N個々の教師のラベリングスタイルを予測するN補助タスク、および1つの主要なタスク
それはグラウンドトゥルースラベルに焦点を当てています。
このアプローチは、複数の学習パラダイムからの原則に基づいて、さまざまなアーキテクチャ、モダリティ、およびタスクにわたって強力な経験的結果を示しています。

要約(オリジナル)

We introduce Teacher2Task, a novel framework for multi-teacher learning that eliminates the need for manual aggregation heuristics. Existing multi-teacher methods typically rely on such heuristics to combine predictions from multiple teachers, often resulting in sub-optimal aggregated labels and the propagation of aggregation errors. Teacher2Task addresses these limitations by introducing teacher-specific input tokens and reformulating the training process. Instead of relying on aggregated labels, the framework transforms the training data, consisting of ground truth labels and annotations from N teachers, into N+1 distinct tasks: N auxiliary tasks that predict the labeling styles of the N individual teachers, and one primary task that focuses on the ground truth labels. This approach, drawing upon principles from multiple learning paradigms, demonstrates strong empirical results across a range of architectures, modalities, and tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google