Embedded Named Entity Recognition using Probing Classifiers

要約

生成されたテキストからセマンティック情報を抽出することは、自動ファクト チェックや検索拡張生成などのアプリケーションにとって便利なツールです。
現在、これには推論中に別のモデルが必要であり、これにより計算コストが増加するか、言語モデルの破壊的な微調整が必​​要になります。
代わりに、プローブ分類子を使用して事前トレーニングされた言語モデルに情報抽出機能を直接埋め込み、効率的なテキスト生成と情報抽出の同時実行を可能にすることを提案します。
このために、EMBER と呼ばれるアプローチを導入し、デコーダーのみの言語モデルで名前付きエンティティの認識を微調整することなく、推論時の追加の計算コストを最小限に抑えながら可能にすることを示します。
具体的には、GPT-2 を使用した実験では、EMBER がストリーミング テキスト生成中に高いトークン生成率を維持し、別の NER モデルを使用したベースラインで測定された 43.64% の速度低下と比較して、速度の低下は約 1% 程度で無視できる程度であることが示されています。
コードとデータは https://github.com/nicpopovic/EMBER で入手できます。

要約(オリジナル)

Extracting semantic information from generated text is a useful tool for applications such as automated fact checking or retrieval augmented generation. Currently, this requires either separate models during inference, which increases computational cost, or destructive fine-tuning of the language model. Instead, we propose directly embedding information extraction capabilities into pre-trained language models using probing classifiers, enabling efficient simultaneous text generation and information extraction. For this, we introduce an approach called EMBER and show that it enables named entity recognition in decoder-only language models without fine-tuning them and while incurring minimal additional computational cost at inference time. Specifically, our experiments using GPT-2 show that EMBER maintains high token generation rates during streaming text generation, with only a negligible decrease in speed of around 1% compared to a 43.64% slowdown measured for a baseline using a separate NER model. Code and data are available at https://github.com/nicpopovic/EMBER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google