Enhancing Coreference Resolution with Pretrained Language Models: Bridging the Gap Between Syntax and Semantics

要約

大規模な言語モデルは、Coreference Resolutionを含むさまざまな自然言語処理タスクで大きな進歩を遂げています。
ただし、従来の方法は、構文情報とセマンティック情報の統合がないため、参照関係を効果的に区別することに不足していることがよくあります。
この研究では、前提条件の言語モデルを利用することにより、コアレーション解像度を強化することを目的とした革新的なフレームワークを紹介します。
私たちのアプローチでは、構文の解析とセマンティックロールラベル付けを組み合わせて、参照関係でより細かい区別を正確にキャプチャします。
最先端の前提条件モデルを使用して、コンテキストの埋め込みを収集し、微調整のための注意メカニズムを適用することにより、Coreferenceタスクのパフォーマンスを改善します。
多様なデータセット全体の実験結果は、私たちの方法が従来のコアレーション解像度システムを上回り、参照を乱用する際の顕著な精度を達成することを示しています。
この開発は、コアレーションの解像度の結果を改善するだけでなく、正確な参照理解に依存する他の自然言語処理タスクにプラスの影響を与えます。

要約(オリジナル)

Large language models have made significant advancements in various natural language processing tasks, including coreference resolution. However, traditional methods often fall short in effectively distinguishing referential relationships due to a lack of integration between syntactic and semantic information. This study introduces an innovative framework aimed at enhancing coreference resolution by utilizing pretrained language models. Our approach combines syntax parsing with semantic role labeling to accurately capture finer distinctions in referential relationships. By employing state-of-the-art pretrained models to gather contextual embeddings and applying an attention mechanism for fine-tuning, we improve the performance of coreference tasks. Experimental results across diverse datasets show that our method surpasses conventional coreference resolution systems, achieving notable accuracy in disambiguating references. This development not only improves coreference resolution outcomes but also positively impacts other natural language processing tasks that depend on precise referential understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google