Cross-Lingual Knowledge Distillation for Answer Sentence Selection in Low-Resource Languages

要約

英語の応答文選択 (AS2) タスクでは目覚ましいパフォーマンスが達成されましたが、大規模なラベル付きデータセットが存在しない言語では同じことが当てはまりません。
この研究では、ターゲット言語のラベル付きデータを必要とせずに、タスクで低リソース言語の AS2 モデルをトレーニングする方法として、英語の優秀な AS2 教師による言語横断知識蒸留 (CLKD) を提案します。
私たちの手法を評価するために、1) Xtr-WikiQA (追加 9 言語用の翻訳ベースの WikiQA データセット)、および 2) TyDi-AS2 (類型的に多様な 8 言語にわたる 70,000 を超える質問を含む多言語 AS2 データセット) を導入します。
私たちは、複数の教師、生徒としての多様な単言語および多言語の事前トレーニング済み言語モデル (PLM)、および単言語と多言語の両方のトレーニングを使用して、Xtr-WikiQA と TyDi-AS2 に関する広範な実験を実施しています。
結果は、CLKD が、同量のラベル付きデータと機械翻訳と教師モデルの組み合わせによる監視付き微調整でも、優れている、または匹敵するパフォーマンスを示していることを示しています。
私たちの手法は、リソースの少ない言語に対してより強力な AS2 モデルを可能にする可能性がある一方、TyDi-AS2 は研究コミュニティでのさらなる研究のための最大の多言語 AS2 データセットとして機能します。

要約(オリジナル)

While impressive performance has been achieved on the task of Answer Sentence Selection (AS2) for English, the same does not hold for languages that lack large labeled datasets. In this work, we propose Cross-Lingual Knowledge Distillation (CLKD) from a strong English AS2 teacher as a method to train AS2 models for low-resource languages in the tasks without the need of labeled data for the target language. To evaluate our method, we introduce 1) Xtr-WikiQA, a translation-based WikiQA dataset for 9 additional languages, and 2) TyDi-AS2, a multilingual AS2 dataset with over 70K questions spanning 8 typologically diverse languages. We conduct extensive experiments on Xtr-WikiQA and TyDi-AS2 with multiple teachers, diverse monolingual and multilingual pretrained language models (PLMs) as students, and both monolingual and multilingual training. The results demonstrate that CLKD either outperforms or rivals even supervised fine-tuning with the same amount of labeled data and a combination of machine translation and the teacher model. Our method can potentially enable stronger AS2 models for low-resource languages, while TyDi-AS2 can serve as the largest multilingual AS2 dataset for further studies in the research community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google