Generalized Multiple Intent Conditioned Slot Filling

要約

自然言語理解には、意図検出 (ユーザーの目的を特定する) とスロット充填 (それらの目的に関連するエンティティを抽出する) のタスクが含まれます。
以前のスロット充填方法では、各インテント タイプがメッセージ内で複数回出現できないことを前提としていましたが、これは現実の設定では有効な前提ではないことがよくあります。
この研究では、メッセージ内の固有のインテントの制約を取り除くことで、スロット充填を一般化します。
これを JSON 生成タスクとしてキャストし、言語モデルを使用してアプローチします。
DBpedia と、JSON 生成用に変換した既存のスロット充填データセットを組み合わせて、事前トレーニング データセットを作成します。
GPT-3 を使用してドメイン内データセットも生成します。
このタスク用に T5 モデルをトレーニングしました (プロンプトにサンプルを使用する場合と使用しない場合) が、両方のトレーニング データセットによってパフォーマンスが向上し、トレーニング中には見ら​​れなかったインテント タイプにモデルが一般化できることがわかりました。

要約(オリジナル)

Natural language understanding includes the tasks of intent detection (identifying a user’s objectives) and slot filling (extracting the entities relevant to those objectives). Prior slot filling methods assume that each intent type cannot occur more than once within a message, however this is often not a valid assumption for real-world settings. In this work, we generalize slot filling by removing the constraint of unique intents in a message. We cast this as a JSON generation task and approach it using a language model. We create a pre-training dataset by combining DBpedia and existing slot filling datasets that we convert for JSON generation. We also generate an in-domain dataset using GPT-3. We train T5 models for this task (with and without exemplars in the prompt) and find that both training datasets improve performance, and that the model is able to generalize to intent types not seen during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google