Towards Robust and Generalizable Training: An Empirical Study of Noisy Slot Filling for Input Perturbations

要約

実際の対話シナリオでは、発話中に未知の入力ノイズが存在するため、既存の教師ありスロット充填モデルは実際のアプリケーションではパフォーマンスが低下することがよくあります。
ノイズに強いモデルに関する研究はいくつかありますが、これらの研究はルールベースの合成データセットでのみ評価されており、制限があり、ノイズに強い手法の研究を促進することが困難になっています。
この論文では、スロット充填タスク用の Noise-SF と呼ばれるノイズ耐性評価データセットを紹介します。
提案されたデータセットには人間が注釈を付けた 5 種類のノイズが含まれており、これらのノイズはすべて、提案されたフレームワークにスロットを埋める実際の広範なロバスト トレーニング手法に正確に存在します。
Noise-SF に関する徹底的な実証評価実験を行うことにより、ベースライン モデルはロバスト性評価のパフォーマンスが低く、提案されたフレームワークがモデルのロバスト性を効果的に向上できることがわかりました。
実証的な実験結果に基づいて、この方向の研究を促進するためのいくつかの前向きな提案を行います。
データセット Noise-SF は https://github.com/dongguanting/Noise-SF でリリースされます。

要約(オリジナル)

In real dialogue scenarios, as there are unknown input noises in the utterances, existing supervised slot filling models often perform poorly in practical applications. Even though there are some studies on noise-robust models, these works are only evaluated on rule-based synthetic datasets, which is limiting, making it difficult to promote the research of noise-robust methods. In this paper, we introduce a noise robustness evaluation dataset named Noise-SF for slot filling task. The proposed dataset contains five types of human-annotated noise, and all those noises are exactly existed in real extensive robust-training methods of slot filling into the proposed framework. By conducting exhaustive empirical evaluation experiments on Noise-SF, we find that baseline models have poor performance in robustness evaluation, and the proposed framework can effectively improve the robustness of models. Based on the empirical experimental results, we make some forward-looking suggestions to fuel the research in this direction. Our dataset Noise-SF will be released at https://github.com/dongguanting/Noise-SF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google