Informed Named Entity Recognition Decoding for Generative Language Models

要約

機能が増大し続ける言語モデルは、現在では十分に確立されたテキスト処理ツールとなっています。
悲しいことに、固有表現認識などの情報抽出タスクは、主に前世代のエンコーダーのみのトランスフォーマー モデルに基づいているため、この進歩の影響をまだほとんど受けていません。
ここでは、固有表現認識を生成プロセスとして扱う、シンプルかつ効果的なアプローチである、情報に基づいた固有表現認識デコーディング (iNERD) を提案します。
最近の生成モデルの言語理解機能を将来性のある方法で活用し、情報抽出の制限された性質をオープンエンドのテキスト生成に組み込んだ情報に基づいたデコード スキームを採用して、パフォーマンスを向上させ、幻覚のリスクを排除します。
私たちは、統合された固有表現コーパスでモデルを粗調整してパフォーマンスを強化し、8 つの固有表現認識データセットで 5 つの生成言語モデルを評価し、特に未知の実体クラス セットを持つ環境で顕著な結果を達成し、その適応性を実証しました。
アプローチ。

要約(オリジナル)

Ever-larger language models with ever-increasing capabilities are by now well-established text processing tools. Alas, information extraction tasks such as named entity recognition are still largely unaffected by this progress as they are primarily based on the previous generation of encoder-only transformer models. Here, we propose a simple yet effective approach, Informed Named Entity Recognition Decoding (iNERD), which treats named entity recognition as a generative process. It leverages the language understanding capabilities of recent generative models in a future-proof manner and employs an informed decoding scheme incorporating the restricted nature of information extraction into open-ended text generation, improving performance and eliminating any risk of hallucinations. We coarse-tune our model on a merged named entity corpus to strengthen its performance, evaluate five generative language models on eight named entity recognition datasets, and achieve remarkable results, especially in an environment with an unknown entity class set, demonstrating the adaptability of the approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google