Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty

要約

Open Information Extraction (OIE) タスクは、非構造化テキストから、通常は (主語、関係、目的語) トリプルの形式で構造化された事実を抽出することを目的としています。
ChatGPT のような大規模言語モデル (LLM) は、一般的なタスク ソルバーとしての可能性を秘めていますが、2 つの重要な問題により、OIE タスクにおける最先端の (教師あり) メソッドよりも遅れています。
まず、モデルの微調整に制限があるため、LLM は無関係なコンテキストを関連する関係から区別し、構造化された出力を生成するのに苦労します。
第 2 に、LLM は確率に基づいて自己回帰的に応答を生成するため、予測された関係に信頼性が欠けます。
この論文では、OIE タスクの改善における LLM の能力を評価します。
特に、LLM の命令追従能力を強化するためのさまざまなコンテキスト内学習戦略と、生成された関係の信頼性を高めるためのデモンストレーションの不確実性定量化モジュールを提案します。
3 つの OIE ベンチマーク データセットに対する私たちの実験は、私たちのアプローチが確立された教師あり手法に対して定量的および定性的の両方で独自性を維持していることを示しています。

要約(オリジナル)

Open Information Extraction (OIE) task aims at extracting structured facts from unstructured text, typically in the form of (subject, relation, object) triples. Despite the potential of large language models (LLMs) like ChatGPT as a general task solver, they lag behind state-of-the-art (supervised) methods in OIE tasks due to two key issues. First, LLMs struggle to distinguish irrelevant context from relevant relations and generate structured output due to the restrictions on fine-tuning the model. Second, LLMs generates responses autoregressively based on probability, which makes the predicted relations lack confidence. In this paper, we assess the capabilities of LLMs in improving the OIE task. Particularly, we propose various in-context learning strategies to enhance LLM’s instruction-following ability and a demonstration uncertainty quantification module to enhance the confidence of the generated relations. Our experiments on three OIE benchmark datasets show that our approach holds its own against established supervised methods, both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google