Task Conditioned BERT for Joint Intent Detection and Slot-filling

要約

対話システムは、対話状態とスロットの不均一性を追跡してユーザーの好みを理解するために、ユーザーの意図の予測不可能性に対処する必要があります。
この論文では、これらの課題を 1 つの統一モデルとして解決することで、さまざまなタスク間でパラメーター サポート データを転送できるようになるという仮説を調査します。
提案された原理モデルは、Transformer エンコーダーに基づいており、複数のタスクでトレーニングされ、ターゲット推論に基づいてモデルを条件付ける豊富な入力によって活用されます。
同じコーパスに対する複数のターゲット推論、つまりインテントと複数のスロット タイプに基づいて Transformer エンコーダを条件付けることにより、単一タスク モデルよりも豊富な言語インタラクションを学習できるようになります。
実際、実験結果は、対話推論タスクの数の増加に基づいてモデルを条件付けすると、結果が向上することを示しています。MultiWOZ データセットでは、共同意図とスロットの検出は、意図に基づいて条件付けすることで 3.2\%、意図に基づいて条件付けすることで 10.8\% 改善できます。
スロットでのコンディショニングと、インテントとスロットの両方でのコンディショニングによる 14.4\%。
さらに、Farfetch の顧客との実際の会話では、提案された条件付き BERT は対話全体を通じて高い共同目標と意図検出パフォーマンスを達成できます。

要約(オリジナル)

Dialogue systems need to deal with the unpredictability of user intents to track dialogue state and the heterogeneity of slots to understand user preferences. In this paper we investigate the hypothesis that solving these challenges as one unified model will allow the transfer of parameter support data across the different tasks. The proposed principled model is based on a Transformer encoder, trained on multiple tasks, and leveraged by a rich input that conditions the model on the target inferences. Conditioning the Transformer encoder on multiple target inferences over the same corpus, i.e., intent and multiple slot types, allows learning richer language interactions than a single-task model would be able to. In fact, experimental results demonstrate that conditioning the model on an increasing number of dialogue inference tasks leads to improved results: on the MultiWOZ dataset, the joint intent and slot detection can be improved by 3.2\% by conditioning on intent, 10.8\% by conditioning on slot and 14.4\% by conditioning on both intent and slots. Moreover, on real conversations with Farfetch costumers, the proposed conditioned BERT can achieve high joint-goal and intent detection performance throughout a dialogue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google