Toward Open-domain Slot Filling via Self-supervised Co-training

要約

スロット フィリングは、最新の会話型システムにおける重要なタスクの 1 つです。
既存の文献の大部分は教師あり学習法を採用しており、新しいドメインごとにラベル付けされたトレーニング データが必要です。
とりわけ、ゼロショット学習と弱い監督のアプローチは、手動のラベル付けに代わるものとして有望であることが示されています。
それにもかかわらず、これらの学習パラダイムは、パフォーマンスの点で教師あり学習アプローチよりも大幅に劣っています。
このパフォーマンス ギャップを最小限に抑え、オープン ドメイン スロット フィリングの可能性を実証するために、SCOt と呼ばれる自己教師付き共同トレーニング フレームワークを提案します。このフレームワークは、ドメイン内で手動でラベル付けされたトレーニング例を必要とせず、3 つのフェーズで動作します。
フェーズ 1 では、2 セットの相補的な疑似ラベルが自動的に取得されます。
フェーズ 2 では、これらの疑似ラベルのセットを使用してスロット充填タスクに適合させることにより、事前トレーニング済みの言語モデル BERT の能力を活用します。
フェーズ 3 では、両方のモデルが信頼性の高いソフト ラベルを自動的に選択して、他方のモデルのパフォーマンスを反復的にさらに改善する、自己教師付き共トレーニング メカニズムを導入します。
私たちの徹底的な評価は、SGD と MultiWoZ データセットで、SCOt が最先端のモデルをそれぞれ 45.57% と 37.56% 上回っていることを示しています。
さらに、提案されたフレームワーク SCot は、最新の完全教師ありモデルと比較した場合、同等のパフォーマンスを達成します。

要約(オリジナル)

Slot filling is one of the critical tasks in modern conversational systems. The majority of existing literature employs supervised learning methods, which require labeled training data for each new domain. Zero-shot learning and weak supervision approaches, among others, have shown promise as alternatives to manual labeling. Nonetheless, these learning paradigms are significantly inferior to supervised learning approaches in terms of performance. To minimize this performance gap and demonstrate the possibility of open-domain slot filling, we propose a Self-supervised Co-training framework, called SCot, that requires zero in-domain manually labeled training examples and works in three phases. Phase one acquires two sets of complementary pseudo labels automatically. Phase two leverages the power of the pre-trained language model BERT, by adapting it for the slot filling task using these sets of pseudo labels. In phase three, we introduce a self-supervised cotraining mechanism, where both models automatically select highconfidence soft labels to further improve the performance of the other in an iterative fashion. Our thorough evaluations show that SCot outperforms state-of-the-art models by 45.57% and 37.56% on SGD and MultiWoZ datasets, respectively. Moreover, our proposed framework SCot achieves comparable performance when compared to state-of-the-art fully supervised models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google