UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition

要約

大規模言語モデル (LLM) は、任意のエンティティや関係を理解するなど、顕著な一般化可能性を実証しています。
命令チューニングは、LLM を Alpaca や Vicuna などのよりコスト効率の高いモデルに抽出するのに効果的であることが証明されています。
しかし、そのようなスチューデント モデルは依然として、ダウンストリーム アプリケーションでは元の LLM に大差をつけられています。
このペーパーでは、オープンな情報抽出などの幅広いアプリケーションのクラスで優れた能力を発揮できる生徒モデルをトレーニングするために、ミッションに焦点を当てた指導チューニングを使用してターゲットを絞った抽出を検討します。
ケーススタディに固有表現認識 (NER) を使用して、ChatGPT をオープン NER 用のはるかに小さい UniversalNER モデルに蒸留する方法を示します。
評価のために、生物医学、プログラミング、ソーシャルメディア、法律、金融など、9 つの多様なドメインにわたる 43 のデータセットで構成される、これまでで最大の NER ベンチマークを構築しました。
UniversalNER は、直接の監視を一切使用せずに、数万のエンティティ タイプにわたって顕著な NER 精度を達成し、Alpaca や Vicuna などの一般的な命令調整モデルを平均 30 絶対 F1 ポイント以上上回っています。
UniversalNER は、ごく一部のパラメーターを使用して、任意のエンティティ タイプを認識する ChatGPT の機能を獲得するだけでなく、その NER 精度を平均 7 ～ 9 絶対 F1 ポイント上回ります。
驚くべきことに、UniversalNER は、教師あり NER サンプルを使用する InstructUIE などの最先端のマルチタスク命令調整システムを大幅に上回っています。
また、蒸留アプローチにおけるさまざまなコンポーネントの影響を評価するために、徹底的なアブレーション研究も実施しています。
ターゲット蒸留に関する今後の研究を促進するために、蒸留レシピ、データ、および UniversalNER モデルを公開します。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable generalizability, such as understanding arbitrary entities and relations. Instruction tuning has proven effective for distilling LLMs into more cost-efficient models such as Alpaca and Vicuna. Yet such student models still trail the original LLMs by large margins in downstream applications. In this paper, we explore targeted distillation with mission-focused instruction tuning to train student models that can excel in a broad application class such as open information extraction. Using named entity recognition (NER) for case study, we show how ChatGPT can be distilled into much smaller UniversalNER models for open NER. For evaluation, we assemble the largest NER benchmark to date, comprising 43 datasets across 9 diverse domains such as biomedicine, programming, social media, law, finance. Without using any direct supervision, UniversalNER attains remarkable NER accuracy across tens of thousands of entity types, outperforming general instruction-tuned models such as Alpaca and Vicuna by over 30 absolute F1 points in average. With a tiny fraction of parameters, UniversalNER not only acquires ChatGPT’s capability in recognizing arbitrary entity types, but also outperforms its NER accuracy by 7-9 absolute F1 points in average. Remarkably, UniversalNER even outperforms by a large margin state-of-the-art multi-task instruction-tuned systems such as InstructUIE, which uses supervised NER examples. We also conduct thorough ablation studies to assess the impact of various components in our distillation approach. We will release the distillation recipe, data, and UniversalNER models to facilitate future research on targeted distillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google