Laziness Is a Virtue When It Comes to Compositionality in Neural Semantic Parsing

要約

タイトル：ニューラルセマンティックパージングにおける構成性においては怠惰が美徳である

要約：
– 大半の汎用ニューラルセマンティックパーサーは、厳密にトップダウンの自己回帰的な方法で論理形式を生成している。
– これらのシステムは、多様なデータセットやドメインにおいて驚くべき成果を収めているが、最近の研究により、構成的な一般化能力に制限があるとの疑問が呈されている。
– この研究では、文字通り逆方向からセマンティックパージングにアプローチする。つまり、論理形式のリーフから始めて論理形式を構成するニューラルセマンティックパージング生成方法を導入する。
– 我々が紹介するシステムは「怠惰」であり、一度に最も有望な候補を拡張・処理するだけで、このような節約的な拡張手法によって、システムは実現されなかった、任意の大量の解析仮説を維持できるため、最小限の計算オーバーヘッドしか発生しない。
– 我々は、構成的な一般化において、CFQデータセットや3つのテキストツーSQLデータセットで我々の手法を評価し、私たちの新しいボトムアップセマンティックパージング技術が汎用セマンティックパーサーを上回りつつ、各タスクに設計された類似のニューラルパーサーと競争できることを示している。

要約(オリジナル)

Nearly all general-purpose neural semantic parsers generate logical forms in a strictly top-down autoregressive fashion. Though such systems have achieved impressive results across a variety of datasets and domains, recent works have called into question whether they are ultimately limited in their ability to compositionally generalize. In this work, we approach semantic parsing from, quite literally, the opposite direction; that is, we introduce a neural semantic parsing generation method that constructs logical forms from the bottom up, beginning from the logical form’s leaves. The system we introduce is lazy in that it incrementally builds up a set of potential semantic parses, but only expands and processes the most promising candidate parses at each generation step. Such a parsimonious expansion scheme allows the system to maintain an arbitrarily large set of parse hypotheses that are never realized and thus incur minimal computational overhead. We evaluate our approach on compositional generalization; specifically, on the challenging CFQ dataset and three Text-to-SQL datasets where we show that our novel, bottom-up semantic parsing technique outperforms general-purpose semantic parsers while also being competitive with comparable neural parsers that have been designed for each task.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI