ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction

要約

GPT-3 や ChatGPT などの大規模言語モデル (LLM) は、いくつかのデモンストレーション例に基づく推論を含む、コンテキスト内学習を使用したさまざまな自然言語処理 (NLP) タスクで顕著な結果を示しています。
NLP タスクでの成功にもかかわらず、コンテキスト内学習を使用して LLM がドキュメント情報抽出 (DIE) を実行する能力を評価するための調査は行われていません。
LLM を DIE に適用すると、モダリティとタスク ギャップという 2 つの課題が生じます。
この目的のために、ICL-D3IE と呼ばれるシンプルだが効果的なコンテキスト内学習フレームワークを提案します。これにより、LLM はさまざまな種類のデモンストレーション例で DIE を実行できます。
具体的には、ハード トレーニング ドキュメントから最も困難で明確なセグメントを、すべてのテスト インスタンスに役立つハード デモンストレーションとして抽出します。
LLMが位置関係を理解できるように、関係を説明するデモンストレーションを設計します。
回答を簡単に抽出するためのフォーマットのデモンストレーションを紹介します。
さらに、フレームワークは、さまざまなデモンストレーションを繰り返し更新することで改善します。
広く使用されている 3 つのベンチマーク データセットでの実験では、ICL-D3IE フレームワークを使用すると、ディストリビューション内 (ID) 設定と両方で完全なトレーニングで微調整された以前の事前トレーニング済みの方法と比較して、GPT-3/ChatGPT が優れたパフォーマンスを達成できることが示されました。
配布外 (OOD) 設定で。

要約(オリジナル)

Large language models (LLMs), such as GPT-3 and ChatGPT, have demonstrated remarkable results in various natural language processing (NLP) tasks with in-context learning, which involves inference based on a few demonstration examples. Despite their successes in NLP tasks, no investigation has been conducted to assess the ability of LLMs to perform document information extraction (DIE) using in-context learning. Applying LLMs to DIE poses two challenges: the modality and task gap. To this end, we propose a simple but effective in-context learning framework called ICL-D3IE, which enables LLMs to perform DIE with different types of demonstration examples. Specifically, we extract the most difficult and distinct segments from hard training documents as hard demonstrations for benefiting all test instances. We design demonstrations describing relationships that enable LLMs to understand positional relationships. We introduce formatting demonstrations for easy answer extraction. Additionally, the framework improves diverse demonstrations by updating them iteratively. Our experiments on three widely used benchmark datasets demonstrate that the ICL-D3IE framework enables GPT-3/ChatGPT to achieve superior performance when compared to previous pre-trained methods fine-tuned with full training in both the in-distribution (ID) setting and in the out-of-distribution (OOD) setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google