GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks

要約

情報抽出タスクには、正確かつ効率的で一般化可能なモデルの両方が必要です。
従来の教師あり深層学習アプローチは、必要なパフォーマンスを達成できますが、大規模なデータセットが必要であり、さまざまなタスクに適応する能力には限界があります。
一方、大規模言語モデル (LLM) は優れた一般化を示しており、ユーザーの要求に基づいて多くの異なるタスクに適応できることを意味します。
ただし、LLM は計算コストが高く、構造化された出力を生成できない傾向があります。
今回は、小型エンコーダモデルでありながら、さまざまな情報抽出タスクに利用できる新しいタイプのGLiNERモデルを紹介します。
私たちのモデルは、ゼロショット NER ベンチマークで SoTA パフォーマンスを達成し、質問応答、要約、関係抽出タスクで最高のパフォーマンスを達成しました。
さらに、この記事では、GLiNER モデルを使用した固有表現認識の自己学習アプローチに関する実験結果についても説明します。

要約(オリジナル)

Information extraction tasks require both accurate, efficient, and generalisable models. Classical supervised deep learning approaches can achieve the required performance, but they need large datasets and are limited in their ability to adapt to different tasks. On the other hand, large language models (LLMs) demonstrate good generalization, meaning that they can adapt to many different tasks based on user requests. However, LLMs are computationally expensive and tend to fail to generate structured outputs. In this article, we will introduce a new kind of GLiNER model that can be used for various information extraction tasks while being a small encoder model. Our model achieved SoTA performance on zero-shot NER benchmarks and leading performance on question-answering, summarization and relation extraction tasks. Additionally, in this article, we will cover experimental results on self-learning approaches for named entity recognition using GLiNER models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google