PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection

要約

インコンテキスト学習 (ICL) を使用すると、大規模言語モデル (LLM) が少数のデモンストレーションを使用してタスクを実行できるようになり、ラベル付きの例を入手するのが難しい場合でもタスクの適応が容易になります。
ただし、ICL はデモンストレーションの選択に敏感であり、どのデモンストレーション属性がコンテキスト内の一般化を可能にするかは不明のままです。
この研究では、低リソースの固有表現検出 (NED) のコンテキスト内デモンストレーションの摂動​​研究を実施します。
私たちの驚くべき発見は、部分的に正しい注釈付きエンティティの言及によるコンテキスト内のデモンストレーションは、完全に正しいデモンストレーションと同じくらいタスクの転送に効果的である可能性があるということです。
私たちの調査結果に基づいて、擬似注釈付きインコンテキスト学習 (PICLe) を提案します。これは、ノイズのある疑似注釈付きデモンストレーションを使用したインコンテキスト学習のフレームワークです。
PICLe は LLM を利用して、ゼロショットの最初のパスで多くのデモンストレーションに注釈を付けます。
次に、これらの合成デモンストレーションをクラスター化し、各クラスターからコンテキスト内のデモンストレーションの特定のセットをサンプリングし、各セットを個別に使用してエンティティの言及を予測します。
最後に、自己検証を使用してエンティティ言及の最終セットを選択します。
我々は、5 つの生物医学 NED データセットで PICLe を評価し、人間によるアノテーションがゼロの場合、限られたゴールド サンプルをコンテキスト内のデモンストレーションとして使用できる低リソース環境では、PICLe が ICL よりも優れたパフォーマンスを発揮することを示します。

要約(オリジナル)

In-context learning (ICL) enables Large Language Models (LLMs) to perform tasks using few demonstrations, facilitating task adaptation when labeled examples are hard to obtain. However, ICL is sensitive to the choice of demonstrations, and it remains unclear which demonstration attributes enable in-context generalization. In this work, we conduct a perturbation study of in-context demonstrations for low-resource Named Entity Detection (NED). Our surprising finding is that in-context demonstrations with partially correct annotated entity mentions can be as effective for task transfer as fully correct demonstrations. Based off our findings, we propose Pseudo-annotated In-Context Learning (PICLe), a framework for in-context learning with noisy, pseudo-annotated demonstrations. PICLe leverages LLMs to annotate many demonstrations in a zero-shot first pass. We then cluster these synthetic demonstrations, sample specific sets of in-context demonstrations from each cluster, and predict entity mentions using each set independently. Finally, we use self-verification to select the final set of entity mentions. We evaluate PICLe on five biomedical NED datasets and show that, with zero human annotation, PICLe outperforms ICL in low-resource settings where limited gold examples can be used as in-context demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google