On-the-fly Definition Augmentation of LLMs for Biomedical NER

要約

LLM は一般的な能力にもかかわらず、専門用語の存在とトレーニング データの欠如により難しい生物医学 NER タスクに依然として苦戦しています。
この研究では、関連する概念の定義をオンザフライで組み込む新しい知識拡張アプローチを介して、限られたデータ設定で生物医学 NER の LLM パフォーマンスを向上させることに着手しました。
このプロセスでは、知識を増強するためのテストベッドを提供するために、プロンプト戦略の包括的な調査を実行します。
私たちの実験では、定義の拡張がオープンソース LLM とクローズド LLM の両方に役立つことがわかりました。
たとえば、テスト データセットすべて (6 つ) にわたって GPT-4 パフォーマンス (F1) が 15\% (平均) 相対的に向上しました。
当社では、関連する定義知識を追加することでパフォーマンスが向上することを実証するために、広範なアブレーションと分析を実施しています。
慎重なプロンプト戦略によって LLM のパフォーマンスも向上し、数ショット設定で微調整された言語モデルを上回るパフォーマンスが得られることがわかりました。
この方向での将来の研究を促進するために、https://github.com/allenai/beacon でコードをリリースします。

要約(オリジナル)

Despite their general capabilities, LLMs still struggle on biomedical NER tasks, which are difficult due to the presence of specialized terminology and lack of training data. In this work we set out to improve LLM performance on biomedical NER in limited data settings via a new knowledge augmentation approach which incorporates definitions of relevant concepts on-the-fly. During this process, to provide a test bed for knowledge augmentation, we perform a comprehensive exploration of prompting strategies. Our experiments show that definition augmentation is useful for both open source and closed LLMs. For example, it leads to a relative improvement of 15\% (on average) in GPT-4 performance (F1) across all (six) of our test datasets. We conduct extensive ablations and analyses to demonstrate that our performance improvements stem from adding relevant definitional knowledge. We find that careful prompting strategies also improve LLM performance, allowing them to outperform fine-tuned language models in few-shot settings. To facilitate future research in this direction, we release our code at https://github.com/allenai/beacon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google