Zero and Few-shot Semantic Parsing with Ambiguous Inputs

要約

自然言語には曖昧さが遍在しているにもかかわらず、意味解析タスクでは無視されるか、意図的に削除されることがよくあります。意味解析タスクでは、一般に、特定の表面形式には正しい論理形式が 1 つだけあると想定されます。
私たちは、AmP、フレームワーク、データセット、および言語的曖昧さを伴う解析の課題を導入することで、この欠点に対処しようと試みています。
私たちはテンプレートを定義し、十分に文書化された 5 つの言語上の曖昧さに関するデータを生成します。
AmP を使用して、いくつかの少数ショットの意味解析システムが曖昧さをどのように処理するかを調査し、3 つの新しい指標を導入しました。
大規模な事前トレーニング済みモデルは、意図的な指示がなければ、考えられる意味の分布を捉える能力が低いことがわかりました。
ただし、モデルは、入力に曖昧さが証明された場合でも、分布を適切に捉えることができます。
これらの結果は、曖昧さをセマンティック解析に明示的に含めるという要求を動機付け、セマンティック解析システムを評価する際に、考えられる出力の分布を考慮することを促進します。

要約(オリジナル)

Despite the ubiquity of ambiguity in natural language, it is often ignored or deliberately removed in semantic parsing tasks, which generally assume that a given surface form has only one correct logical form. We attempt to address this shortcoming by introducing AmP, a framework, dataset, and challenge for parsing with linguistic ambiguity. We define templates and generate data for five well-documented linguistic ambiguities. Using AmP, we investigate how several few-shot semantic parsing systems handle ambiguity, introducing three new metrics. We find that large pre-trained models perform poorly at capturing the distribution of possible meanings without deliberate instruction. However, models are able to capture distribution well when ambiguity is attested in their inputs. These results motivate a call for ambiguity to be explicitly included in semantic parsing, and promotes considering the distribution of possible outputs when evaluating semantic parsing systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google