Leveraging Multiple Teachers for Test-Time Adaptation of Language-Guided Classifiers

要約

最近のアプローチでは、タスク固有の自然言語による説明、指示、またはプロンプトが提供された場合に、新規タスクから例を分類できる言語ガイド付き分類器が検討されています（Sanh et al., 2022; R. Menon et al., 2022）。
これらの分類子はゼロショット設定で一般化できますが、そのタスクのパフォーマンスは、異なる言語の説明間で​​予測できない方法で大きく異なることがよくあります (Lu et al., 2022; Gonen et al., 2022)。
また、現在のアプローチでは、多くのシナリオで利用できるラベルのない例を利用できません。
ここでは、データ プログラミングを使用して、複数の教師からの説明とラベルのないテスト例が提供された場合の推論中の新しいタスクに言語ガイド付き分類器を適応させるフレームワークである TALC を紹介します。
私たちの結果は、TALC が以前の研究からの競争力のあるベースラインを一貫して 9.3% という驚異的なパフォーマンスで上回っていることを示しています (相対的改善)。
さらに、提供される説明の質と量の変化に対する TALC の堅牢性を実証し、複数の教師または群衆からの学習が関係するシナリオにおけるその可能性を強調します。
コードは https://github.com/WeiKangda/TALC.git で入手できます。

要約(オリジナル)

Recent approaches have explored language-guided classifiers capable of classifying examples from novel tasks when provided with task-specific natural language explanations, instructions or prompts (Sanh et al., 2022; R. Menon et al., 2022). While these classifiers can generalize in zero-shot settings, their task performance often varies substantially between different language explanations in unpredictable ways (Lu et al., 2022; Gonen et al., 2022). Also, current approaches fail to leverage unlabeled examples that may be available in many scenarios. Here, we introduce TALC, a framework that uses data programming to adapt a language-guided classifier for a new task during inference when provided with explanations from multiple teachers and unlabeled test examples. Our results show that TALC consistently outperforms a competitive baseline from prior work by an impressive 9.3% (relative improvement). Further, we demonstrate the robustness of TALC to variations in the quality and quantity of provided explanations, highlighting its potential in scenarios where learning from multiple teachers or a crowd is involved. Our code is available at: https://github.com/WeiKangda/TALC.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google