PMB5: Gaining More Insight into Neural Semantic Parsing with Challenging Benchmarks

要約

Parallel Meaning Bank (PMB) は、意味解析とテキスト生成に重点を置いた意味処理のためのコーパスとして機能します。
現在、PMB 上のニューラル パーサーとジェネレーターの優れたパフォーマンスが確認されています。
これは、そのような意味論的な処理タスクがおおむね解決されたことを示唆している可能性があります。
私たちは、これは事実ではなく、PMB の過去のパフォーマンス スコアは、最適化されていないデータ分割や簡単すぎるテスト セットによって膨らんでいると主張します。
これに応えて、いくつかの変更を導入します。
まず、以前のランダムな分割の代わりに、標準テスト データの信頼性を向上させるために、より体系的な分割アプローチを提案します。
第 2 に、標準テスト セットを除いて、2 つの課題セットも提案します。1 つは談話構造を含む長いテキストで、もう 1 つは構成上の一般化に取り組みます。
意味解析と意味からテキストへの生成のための 5 つのニューラル モデルを評価します。
私たちの結果は、課題セットではモデルのパフォーマンスが (場合によっては劇的に) 低下することを示しており、そのような課題に直面した場合のニューラル モデルの限界を明らかにしています。

要約(オリジナル)

The Parallel Meaning Bank (PMB) serves as a corpus for semantic processing with a focus on semantic parsing and text generation. Currently, we witness an excellent performance of neural parsers and generators on the PMB. This might suggest that such semantic processing tasks have by and large been solved. We argue that this is not the case and that performance scores from the past on the PMB are inflated by non-optimal data splits and test sets that are too easy. In response, we introduce several changes. First, instead of the prior random split, we propose a more systematic splitting approach to improve the reliability of the standard test data. Second, except for the standard test set, we also propose two challenge sets: one with longer texts including discourse structure, and one that addresses compositional generalization. We evaluate five neural models for semantic parsing and meaning-to-text generation. Our results show that model performance declines (in some cases dramatically) on the challenge sets, revealing the limitations of neural models when confronting such challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google