Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples!

要約

大規模言語モデル (LLM) は、さまざまなタスクで目覚ましい進歩を遂げました。
ただし、それらが情報抽出 (IE) タスクの競争力のある少数ショット ソルバーであり、微調整された小さな事前学習済み言語モデル (SLM) を上回るかどうかは、未解決の問題のままです。
この論文は、この問題に対する完全な答えを提供することを目的としており、さらに、LLM と SLM の長所を組み合わせた効果的で経済的な IE システムへのアプローチを探求することを目的としています。
3 つの IE タスクにわたる 8 つのデータセットでの広範な実験を通じて、LLM は、ほとんどの設定で満足のいくパフォーマンスが得られず、高いレイテンシと予算の要件があることを考えると、一般に効果的な少数ショット情報抽出器ではないことが示されました。
ただし、LLM が SLM を十分に補完し、SLM が苦労する難しいサンプルを効果的に解決できることを示しています。
これらの調査結果に基づいて、SLM がフィルターとして機能し、LLM がリランカーとして機能する、適応フィルターを使用して再ランク付けするパラダイムを提案します。
LLM を利用して SLM によって識別された困難なサンプルのごく一部を再ランク付けすることにより、私たちの予備システムは、さまざまな IE タスクで有望な改善 (平均で 2.1% の F1 ゲイン) を一貫して達成し、許容できる時間とお金のコストがかかります。

要約(オリジナル)

Large Language Models (LLMs) have made remarkable strides in various tasks. However, whether they are competitive few-shot solvers for information extraction (IE) tasks and surpass fine-tuned small Pre-trained Language Models (SLMs) remains an open problem. This paper aims to provide a thorough answer to this problem, and moreover, to explore an approach towards effective and economical IE systems that combine the strengths of LLMs and SLMs. Through extensive experiments on eight datasets across three IE tasks, we show that LLMs are not effective few-shot information extractors in general, given their unsatisfactory performance in most settings and the high latency and budget requirements. However, we demonstrate that LLMs can well complement SLMs and effectively solve hard samples that SLMs struggle with. Building on these findings, we propose an adaptive filter-then-rerank paradigm, in which SLMs act as filters and LLMs act as rerankers. By utilizing LLMs to rerank a small portion of difficult samples identified by SLMs, our preliminary system consistently achieves promising improvements (2.1% F1-gain on average) on various IE tasks, with acceptable cost of time and money.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google