Construction Identification and Disambiguation Using BERT: A Case Study of NPN

要約

建設文法は、言語の知識は、語彙、一般的な文法規則、さらには特異なパターンを含む、形式のペア（「構造」）の知識で構成されているという仮説を立てています。
最近の研究では、変圧器の言語モデルは、構造が全体的にまれなものを含む少なくともいくつかの構造パターンを表していることが示されています。
この作業では、英語の軽微な構造の形と意味のバートの表現をプローブします。NPN（名詞 – プレポーション名）構造は、対面と日々のような表現で展示されています。
意味的に注釈されたコーパスインスタンスのベンチマークデータセットを作成します（構造に表面的に似たディストラクタを含む）。
このデータセットを使用すると、プローブ分類子をトレーニングおよび評価します。
彼らは、ディストラクタからの建設のまともな差別を達成し、建設の真の事例の間で曖昧性を乱していることを感知し、バートの埋め込みが建設のセマンティクスの兆候を示していることを明らかにしています。
さらに、真の構造インスタンスの語順に人為的に順序付けられると、それらが拒否され、形の問題に対する感度が示されます。
Bertは、表面の構文パターンと語彙の手がかりを超えるNPN構造に関する少なくともある程度の知識を潜在的にエンコードしていると結論付けています。

要約(オリジナル)

Construction Grammar hypothesizes that knowledge of a language consists chiefly of knowledge of form-meaning pairs (”constructions”) that include vocabulary, general grammar rules, and even idiosyncratic patterns. Recent work has shown that transformer language models represent at least some constructional patterns, including ones where the construction is rare overall. In this work, we probe BERT’s representation of the form and meaning of a minor construction of English, the NPN (noun-preposition-noun) construction — exhibited in such expressions as face to face and day to day — which is known to be polysemous. We construct a benchmark dataset of semantically annotated corpus instances (including distractors that superficially resemble the construction). With this dataset, we train and evaluate probing classifiers. They achieve decent discrimination of the construction from distractors, as well as sense disambiguation among true instances of the construction, revealing that BERT embeddings carry indications of the construction’s semantics. Moreover, artificially permuting the word order of true construction instances causes them to be rejected, indicating sensitivity to matters of form. We conclude that BERT does latently encode at least some knowledge of the NPN construction going beyond a surface syntactic pattern and lexical cues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google