Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers

要約

Apple Siri や Amazon Alexa などのインテリジェントな音声アシスタントは、現在広く使用されています。
これらのタスク指向の対話システムでは、ユーザーの発話を処理し、実行されるアクションを理解するために、意味解析モジュールが必要です。
このセマンティック解析コンポーネントは当初、単純なクエリを処理するためのルールベースまたは統計的なスロット充填アプローチによって実装されました。
ただし、より複雑な発話の出現には、shift-reduce パーサーまたはシーケンスツーシーケンス モデルの適用が必要でした。
シフトリデュース手法は当初、最も有望なオプションと考えられていましたが、シーケンスツーシーケンス ニューラル システムの出現により、この特定のタスクで最もパフォーマンスの高い方法として、このアプローチが最前線に押し上げられました。
この記事では、タスク指向の対話のためのシフトリデュース意味解析に関する研究を進めます。
私たちは、Stack-Transformers に依存する新しいshift-reduce パーサーを実装します。
このフレームワークにより、Transformer ニューラル アーキテクチャ上で遷移システムを適切にモデル化でき、特にシフトリデュース解析パフォーマンスが向上します。
さらに、私たちのアプローチは従来のトップダウン アルゴリズムを超えています。つまり、構成解析から派生した代替のボトムアップおよび順序遷移システムをタスク指向解析の領域に組み込んでいます。
Facebook TOP ベンチマークから複数のドメインでアプローチを広範囲にテストし、高リソース設定と低リソース設定の両方で既存のシフトリデュース パーサーと最先端のシーケンスツーシーケンス モデルを改善しています。
また、順序アルゴリズムが一般的に使用されるトップダウン戦略よりも大幅に優れていることも経験的に証明しています。
革新的な遷移システムの作成と堅牢なニューラル アーキテクチャの機能の利用を通じて、私たちの研究は、メイン ベンチマークにおける主要なシーケンス間メソッドに対するシフトリデュース パーサーの優位性を示しています。

要約(オリジナル)

Intelligent voice assistants, such as Apple Siri and Amazon Alexa, are widely used nowadays. These task-oriented dialogue systems require a semantic parsing module in order to process user utterances and understand the action to be performed. This semantic parsing component was initially implemented by rule-based or statistical slot-filling approaches for processing simple queries; however, the appearance of more complex utterances demanded the application of shift-reduce parsers or sequence-to-sequence models. Although shift-reduce approaches were initially considered the most promising option, the emergence of sequence-to-sequence neural systems has propelled them to the forefront as the highest-performing method for this particular task. In this article, we advance the research on shift-reduce semantic parsing for task-oriented dialogue. We implement novel shift-reduce parsers that rely on Stack-Transformers. This framework allows to adequately model transition systems on the Transformer neural architecture, notably boosting shift-reduce parsing performance. Furthermore, our approach goes beyond the conventional top-down algorithm: we incorporate alternative bottom-up and in-order transition systems derived from constituency parsing into the realm of task-oriented parsing. We extensively test our approach on multiple domains from the Facebook TOP benchmark, improving over existing shift-reduce parsers and state-of-the-art sequence-to-sequence models in both high-resource and low-resource settings. We also empirically prove that the in-order algorithm substantially outperforms the commonly-used top-down strategy. Through the creation of innovative transition systems and harnessing the capabilities of a robust neural architecture, our study showcases the superiority of shift-reduce parsers over leading sequence-to-sequence methods on the main benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google