Enhancing Language Representation with Constructional Information for Natural Language Understanding

要約

自然言語理解 (NLU) は自然言語処理の重要な分野であり、事前トレーニングされた言語モデル (PLM) によって生成された表現に依存します。
ただし、PLM は主に語彙意味論的な情報を取得することに重点を置いていますが、構文の意味を適切に処理できない場合があります。
この問題に対処するために、言語表現を豊かにするために形式と意味の組み合わせを強調する構文文法 (CxG) を導入します。
私たちは作業の基礎として使用法ベースの構築文法を採用しており、PLM などの統計モデルと高い互換性があります。
次に、3 段階のソリューションを通じて言語表現を強化する HyCxG フレームワークが提案されています。
まず、すべての構造がスロット制約アプローチによって文から抽出されます。
構成は互いに重なり合って冗長性と不均衡が生じる可能性があるため、識別可能な構成を選択するための条件付き最大カバレッジ問題を定式化します。
最後に、構造間の高次の単語相互作用を捕捉することによって構造情報から表現を取得するリレーショナル ハイパーグラフ アテンション ネットワークを提案します。
広範な実験により、さまざまな NLU タスクに対する提案されたモデルの優位性が実証されました。

要約(オリジナル)

Natural language understanding (NLU) is an essential branch of natural language processing, which relies on representations generated by pre-trained language models (PLMs). However, PLMs primarily focus on acquiring lexico-semantic information, while they may be unable to adequately handle the meaning of constructions. To address this issue, we introduce construction grammar (CxG), which highlights the pairings of form and meaning, to enrich language representation. We adopt usage-based construction grammar as the basis of our work, which is highly compatible with statistical models such as PLMs. Then a HyCxG framework is proposed to enhance language representation through a three-stage solution. First, all constructions are extracted from sentences via a slot-constraints approach. As constructions can overlap with each other, bringing redundancy and imbalance, we formulate the conditional max coverage problem for selecting the discriminative constructions. Finally, we propose a relational hypergraph attention network to acquire representation from constructional information by capturing high-order word interactions among constructions. Extensive experiments demonstrate the superiority of the proposed model on a variety of NLU tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google