Zero and Few-shot Semantic Parsing with Ambiguous Inputs

要約

自然言語を介して意味を表現する場合、あいまいさによって頻繁に課題が生じるにもかかわらず、言語を形式的に設計された表現にマッピングするタスクでは、曖昧さは無視されるか、意図的に削除されることがよくあります。タスクでは、一般に、言語表現と形式表現の間の 1 対 1 のマッピングが想定されます。
私たちは、あいまいな自然言語をロジックやコードなどの形式的な表現に変換するためのフレームワーク、データセット、および課題である AmP を導入することで、この欠点に対処しようとしています。
私たちはテンプレートを定義し、十分に文書化された 5 つの言語上の曖昧さに関するデータを生成します。
AmP を使用して、いくつかの少数ショットのテキストからコードへのシステムが曖昧さをどのように処理するかを調査し、3 つの新しい指標を導入しました。
大規模な事前トレーニング済みモデルは、意図的な指示がなければ、考えられる意味の分布を捉える能力が低いことがわかりました。
ただし、入力に曖昧さが証明された場合、モデルは分布を適切に捉えることができます。
これらの結果は、データセットに明確に曖昧さを含めることを求める動機となり、システムを評価する際に考えられる出力の分布を考慮することを促進します。
データとコード: https://github.com/esteng/ambiguous_parsing

要約(オリジナル)

Despite the frequent challenges posed by ambiguity when representing meaning via natural language, it is often ignored or deliberately removed in tasks mapping language to formally-designed representations, which generally assume a one-to-one mapping between linguistic and formal representations. We attempt to address this shortcoming by introducing AmP, a framework, dataset, and challenge for translating ambiguous natural language to formal representations like logic and code. We define templates and generate data for five well-documented linguistic ambiguities. Using AmP, we investigate how several few-shot text-to-code systems handle ambiguity, introducing three new metrics. We find that large pre-trained models perform poorly at capturing the distribution of possible meanings without deliberate instruction. However, models are able to capture the distribution well when ambiguity is attested in their inputs. These results motivate a call for including ambiguity explicitly in datasets and promote considering the distribution of possible outputs when evaluating systems. Data and code: https://github.com/esteng/ambiguous_parsing

arxiv情報

提供元, 利用サービス

arxiv.jp, Google