VicunaNER: Zero/Few-shot Named Entity Recognition using Vicuna

要約

【タイトル】Vicunaを使用したZero/Few-shot Named Entity RecognitionのVicunaNER
【要約】
– 大規模言語モデル（LLM、例えばChatGPT）は、Zero/Few-shotのNamed Entity Recognition（NER）の分野でも優れた性能を発揮することが示されている。
– しかしながら、これらのモデルにはオンラインAPIを介してのみアクセスできるため、データ漏洩や再現性の問題を引き起こす可能性がある。
– そこで本論文では、新しくリリースされたオープンソースのLLMであるVicunaをベースにしたZero/Few-shot NERフレームワークであるVicunaNERを提案する。
– VicunaNERは2段階のフレームワークで、各段階でVicunaとのマルチターンの対話を活用してテキストからエンティティを認識する。
– 第2段階をRe-Recognitionと呼び、第一段階で認識されなかったエンティティ（Recognitionと呼ばれる）を認識する。
– さらに、各段階でエンティティの正確性をチェックする対話を設定して、誤ったエンティティを除外する。
– 10のデータセットを跨いで5つの分野でVicunaNERのZero-shot能力を評価し、Few-shot能力はFew-NERDで評価する。
– 実験結果は、VicunaNERが両方のshot設定で優れた性能を発揮することを示している。
– さらに、Vicunaについて複数の観点から包括的な調査を行う。

要約(オリジナル)

Large Language Models (LLMs, e.g., ChatGPT) have shown impressive zero- and few-shot capabilities in Named Entity Recognition (NER). However, these models can only be accessed via online APIs, which may cause data leak and non-reproducible problems. In this paper, we propose VicunaNER, a zero/few-shot NER framework based on the newly released open-source LLM — Vicuna. VicunaNER is a two-phase framework, where each phase leverages multi-turn dialogues with Vicuna to recognize entities from texts. We name the second phase as Re-Recognition, which recognizes those entities not recognized in the first phase (a.k.a. Recognition). Moreover, we set entity correctness check dialogues in each phase to filter out wrong entities. We evaluate VicunaNER’s zero-shot capacity on 10 datasets crossing 5 domains and few-shot capacity on Few-NERD. Experimental results demonstrate that VicunaNER achieves superior performance in both shot settings. Additionally, we conduct comprehensive investigations on Vicuna from multiple perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI