RUIE: Retrieval-based Unified Information Extraction using Large Language Model

要約

統合情報抽出 (UIE) は、非構造化テキストから多様な構造化情報を抽出することを目的としています。
大規模言語モデル (LLM) は UIE に有望である一方で、大量の計算リソースを必要とし、目に見えないタスクに一般化するのに苦労することがよくあります。
私たちは、効率的なタスクの一般化のためにコンテキスト内学習を活用するフレームワークである RUIE (Retrieval-based Unified Information Extraction) を提案します。
RUIE は、LLM 設定とキーワード強化報酬モデルを組み合わせた新しいデモンストレーション選択メカニズムを導入し、対比学習と知識蒸留を通じてトレーニングされたバイエンコーダー検索機能を採用しています。
UIE 用の最初のトレーニング可能な検索フレームワークである RUIE は、さまざまな LLM のユニバーサル プラグインとして機能します。
8 つの保持されたデータセットに関する実験結果は、RUIE の有効性を示しており、命令チューニング手法および他の取得ツールと比較して、平均 F1 スコアがそれぞれ 19.22 および 3.22 向上しました。

要約(オリジナル)

Unified information extraction (UIE) aims to extract diverse structured information from unstructured text. While large language models (LLMs) have shown promise for UIE, they require significant computational resources and often struggle to generalize to unseen tasks. We propose RUIE (Retrieval-based Unified Information Extraction), a framework that leverages in-context learning for efficient task generalization. RUIE introduces a novel demonstration selection mechanism combining LLM preferences with a keyword-enhanced reward model, and employs a bi-encoder retriever trained through contrastive learning and knowledge distillation. As the first trainable retrieval framework for UIE, RUIE serves as a universal plugin for various LLMs. Experimental results on eight held-out datasets demonstrate RUIE’s effectiveness, with average F1-score improvements of 19.22 and 3.22 compared to instruction-tuning methods and other retrievers, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google