Slot Induction via Pre-trained Language Model Probing and Multi-level Contrastive Learning

要約

タスク指向対話 (TOD) システムの自然言語理解における最近の高度な手法 (意図検出やスロット充填など) では、競争力のあるパフォーマンスを達成するために大量の注釈付きデータが必要です。
実際には、トークンレベルのアノテーション (スロット ラベル) は時間がかかり、取得するのが困難です。
この研究では、トークン レベルのスロット アノテーションの明示的な知識なしにスロット境界を誘導することを目的とするスロット誘導 (SI) タスクを研究します。
我々は、教師なし事前トレーニング言語モデル (PLM) の探索および対比学習メカニズムを活用して、(1) PLM から抽出された教師なし意味論的知識、および (2) TOD から利用可能な追加の文レベルの意図ラベル信号を活用することを提案します。
私たちのアプローチは SI タスクで効果的であり、2 つの NLU ベンチマーク データセット上のトークンレベルの教師ありモデルとのギャップを埋めることができることが示されています。
新しいインテントに一般化すると、SI 目標は拡張されたスロット ラベル表現も提供し、スロット充填タスクのパフォーマンスの向上につながります。

要約(オリジナル)

Recent advanced methods in Natural Language Understanding for Task-oriented Dialogue (TOD) Systems (e.g., intent detection and slot filling) require a large amount of annotated data to achieve competitive performance. In reality, token-level annotations (slot labels) are time-consuming and difficult to acquire. In this work, we study the Slot Induction (SI) task whose objective is to induce slot boundaries without explicit knowledge of token-level slot annotations. We propose leveraging Unsupervised Pre-trained Language Model (PLM) Probing and Contrastive Learning mechanism to exploit (1) unsupervised semantic knowledge extracted from PLM, and (2) additional sentence-level intent label signals available from TOD. Our approach is shown to be effective in SI task and capable of bridging the gaps with token-level supervised models on two NLU benchmark datasets. When generalized to emerging intents, our SI objectives also provide enhanced slot label representations, leading to improved performance on the Slot Filling tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google