Efficient slot labelling

要約

スロットのラベル付けは、あらゆる対話システムの重要なコンポーネントであり、ユーザーのターンごとに重要な議論を見つけることを目的としています。
一般的なアプローチには、BERT や RoBERTa などの大規模な事前トレーニング済み言語モデル (PLM) が含まれますが、高い計算要件や事前トレーニング データへの依存などの課題に直面しています。
この研究では、トレーニング可能なパラメータがほぼ 10 分の 1 少ないながら、最先端の PLM ベースの手法と同等以上のパフォーマンスを発揮する軽量な手法を提案します。
これにより、実際の業界のシナリオに特に適用できるようになります。

要約(オリジナル)

Slot labelling is an essential component of any dialogue system, aiming to find important arguments in every user turn. Common approaches involve large pre-trained language models (PLMs) like BERT or RoBERTa, but they face challenges such as high computational requirements and dependence on pre-training data. In this work, we propose a lightweight method which performs on par or better than the state-of-the-art PLM-based methods, while having almost 10x less trainable parameters. This makes it especially applicable for real-life industry scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google