CTRAN: CNN-Transformer-based Network for Natural Language Understanding

要約

意図検出とスロット充填は、自然言語理解における 2 つの主要なタスクです。
この研究では、意図検出とスロット充填のための新しいエンコーダー/デコーダー CNN-Transformer ベースのアーキテクチャである CTRAN を提案します。
エンコーダーでは、BERT を使用し、その後にいくつかの畳み込みレイヤーを使用し、ウィンドウ機能シーケンスを使用して出力を再配置します。
ウィンドウ機能シーケンスの後に、スタックされた Transformer エンコーダーを使用します。
意図検出デコーダーには、自己注意とそれに続く線形層を利用します。
スロット フィリング デコーダーでは、整列された Transformer デコーダーを導入します。これは、ゼロ対角マスクを使用して、出力タグを入力トークンに整列させます。
ATIS と SNIPS にネットワークを適用し、両方のデータセットのスロット充填で現在の最先端技術を上回っています。
さらに、言語モデルを単語の埋め込みとして組み込み、エンコーダとしての言語モデルと比較した場合、この戦略がより良い結果をもたらすことを示します。

要約(オリジナル)

Intent-detection and slot-filling are the two main tasks in natural language understanding. In this study, we propose CTRAN, a novel encoder-decoder CNN-Transformer-based architecture for intent-detection and slot-filling. In the encoder, we use BERT, followed by several convolutional layers, and rearrange the output using window feature sequence. We use stacked Transformer encoders after the window feature sequence. For the intent-detection decoder, we utilize self-attention followed by a linear layer. In the slot-filling decoder, we introduce the aligned Transformer decoder, which utilizes a zero diagonal mask, aligning output tags with input tokens. We apply our network on ATIS and SNIPS, and surpass the current state-of-the-art in slot-filling on both datasets. Furthermore, we incorporate the language model as word embeddings, and show that this strategy yields a better result when compared to the language model as an encoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google