SLOG: A Structural Generalization Benchmark for Semantic Parsing

要約

構成的一般化ベンチマークの目的は、モデルが新しい複雑な言語表現にどの程度うまく一般化できるかを評価することです。
既存のベンチマークは、多くの場合、語彙の一般化、つまりトレーニングでおなじみの構文構造における新しい語彙項目の解釈に焦点を当てています。
トレーニングでは馴染みのない構文構造をモデルが解釈する必要がある構造的汎化タスクは、過小評価されることが多く、その結果、モデルがどれだけうまく汎化できるかについて過度に楽観的な認識が生まれます。
17 の構造一般化ケースで COGS (Kim and Linzen、2020) を拡張する意味解析データセットである SLOG を紹介します。
私たちの実験では、事前トレーニングされたモデルを含む Transformer モデルの汎化精度は 40.6% にとどまり、構造認識パーサーは 70.8% にすぎません。
これらの結果は、既存のモデルが COGS で達成するほぼ完璧な精度には程遠いものであり、モデルの語彙的および構造的汎化能力間の大きな矛盾を前景化する上で SLOG の役割を示しています。

要約(オリジナル)

The goal of compositional generalization benchmarks is to evaluate how well models generalize to new complex linguistic expressions. Existing benchmarks often focus on lexical generalization, the interpretation of novel lexical items in syntactic structures familiar from training; structural generalization tasks, where a model needs to interpret syntactic structures that are themselves unfamiliar from training, are often underrepresented, resulting in overly optimistic perceptions of how well models can generalize. We introduce SLOG, a semantic parsing dataset that extends COGS (Kim and Linzen, 2020) with 17 structural generalization cases. In our experiments, the generalization accuracy of Transformer models, including pretrained ones, only reaches 40.6%, while a structure-aware parser only achieves 70.8%. These results are far from the near-perfect accuracy existing models achieve on COGS, demonstrating the role of SLOG in foregrounding the large discrepancy between models’ lexical and structural generalization capacities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google