PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection

要約

コンテキスト内学習（ICL）により、大規模な言語モデル（LLM）が少数のデモンストレーションを使用してタスクを実行できます。ラベルのある例を取得するのが難しい場合は、タスクの適応を促進します。
ただし、ICLはデモンストレーションの選択に敏感であり、どのデモンストレーション属性がコンテキスト内の一般化を有効にするかは不明のままです。
この作業では、低リソースという名前のエンティティ検出（NED）のコンテキスト内デモンストレーションの摂動​​研究を実施します。
私たちの驚くべき発見は、部分的に正しい注釈付きエンティティの言及を伴うコンテキスト内デモンストレーションは、完全に正しいデモンストレーションと同じくらいタスク転送に効果的である可能性があるということです。
調査結果に基づいて、ノイズの多い擬似解決デモンストレーションを使用したコンテキスト学習のフレームワークである擬似感染内学習（Picle）を提案します。
ピクルはLLMを活用して、ゼロショットファーストパスで多くのデモンストレーションを注釈します。
次に、これらの合成デモンストレーションをクラスター化し、各クラスターからのコンテキスト内デモンストレーションの特定のセットをサンプリングし、各セットを独立して使用してエンティティの言及を予測します。
最後に、自己検証を使用して、最終的なエンティティの言及セットを選択します。
5つの生物医学的NEDデータセットでピクルを評価し、人間の注釈がゼロで、ピクルが低リソース設定でICLを上回ることを示しています。

要約(オリジナル)

In-context learning (ICL) enables Large Language Models (LLMs) to perform tasks using few demonstrations, facilitating task adaptation when labeled examples are hard to obtain. However, ICL is sensitive to the choice of demonstrations, and it remains unclear which demonstration attributes enable in-context generalization. In this work, we conduct a perturbation study of in-context demonstrations for low-resource Named Entity Detection (NED). Our surprising finding is that in-context demonstrations with partially correct annotated entity mentions can be as effective for task transfer as fully correct demonstrations. Based off our findings, we propose Pseudo-annotated In-Context Learning (PICLe), a framework for in-context learning with noisy, pseudo-annotated demonstrations. PICLe leverages LLMs to annotate many demonstrations in a zero-shot first pass. We then cluster these synthetic demonstrations, sample specific sets of in-context demonstrations from each cluster, and predict entity mentions using each set independently. Finally, we use self-verification to select the final set of entity mentions. We evaluate PICLe on five biomedical NED datasets and show that, with zero human annotation, PICLe outperforms ICL in low-resource settings where limited gold examples can be used as in-context demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google