An Empirical Study on Information Extraction using Large Language Models

要約

人間に似た大規模言語モデル (LLM)、特に OpenAI の GPT ファミリの中で最も強力で人気のあるモデルは、多くの自然言語処理 (NLP) 関連のタスクに非常に役立つことが証明されています。
したがって、非構造化プレーン テキストから情報を抽出する基本的な NLP タスクである情報抽出 (IE) に LLM を適用するさまざまな試みが行われてきました。
LLM の情報抽出能力における最新の代表的な進歩を実証するために、GPT-4 (本稿執筆時点での GPT の最新バージョン) の情報抽出能力を、パフォーマンス、評価基準、堅牢性、エラーの 4 つの観点から評価します。
種類。
私たちの結果は、GPT-4 と最先端 (SOTA) IE メソッドの間に目に見えるパフォーマンスのギャップがあることを示唆しています。
この問題を軽減するために、LLM の人間に似た特性を考慮して、他の LLM や NLP タスクに一般化できる一連の単純なプロンプトベースの方法の効果を提案および分析します。
豊富な実験により、GPT-4 の情報抽出能力を向上させる上での私たちの方法の有効性と残された問題のいくつかが示されています。

要約(オリジナル)

Human-like large language models (LLMs), especially the most powerful and popular ones in OpenAI’s GPT family, have proven to be very helpful for many natural language processing (NLP) related tasks. Therefore, various attempts have been made to apply LLMs to information extraction (IE), which is a fundamental NLP task that involves extracting information from unstructured plain text. To demonstrate the latest representative progress in LLMs’ information extraction ability, we assess the information extraction ability of GPT-4 (the latest version of GPT at the time of writing this paper) from four perspectives: Performance, Evaluation Criteria, Robustness, and Error Types. Our results suggest a visible performance gap between GPT-4 and state-of-the-art (SOTA) IE methods. To alleviate this problem, considering the LLMs’ human-like characteristics, we propose and analyze the effects of a series of simple prompt-based methods, which can be generalized to other LLMs and NLP tasks. Rich experiments show our methods’ effectiveness and some of their remaining issues in improving GPT-4’s information extraction ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google