In-Context Learning with Noisy Labels

要約

インコンテキスト学習とは、追加のトレーニングなしで、タスクのデモンストレーションを利用して、ターゲット タスクを実行する大規模言語モデル (LLM) の新たな能力を指します。
最近の研究は、より有用なデモンストレーションを選択することで、文脈に沿った学習パフォーマンスを向上させることを目的としています。
ただし、現実世界のラベル付けプロセス中に発生するタスクのデモンストレーションには、避けられないノイズの多いラベルの存在が見落とされています。
この論文では、ノイズの多いラベルを使用したインコンテキスト学習という新しいタスクを提案します。これは、タスクのデモンストレーション内のラベルが破損するインコンテキスト学習の現実世界の問題を解決することを目的としています。
さらに、ノイズの多いラベルを使用した学習の研究に触発された、新しいタスクの新しい方法とベースライン方法を提案します。
実験を通じて、私たちの提案した方法が、ノイズの多いラベルによって引き起こされるコンテキスト内学習のパフォーマンス低下に対する保護手段として機能できることを実証します。

要約(オリジナル)

In-context learning refers to the emerging ability of large language models (LLMs) to perform a target task without additional training, utilizing demonstrations of the task. Recent studies aim to enhance in-context learning performance by selecting more useful demonstrations. However, they overlook the presence of inevitable noisy labels in task demonstrations that arise during the labeling process in the real-world. In this paper, we propose a new task, in-context learning with noisy labels, which aims to solve real-world problems for in-context learning where labels in task demonstrations would be corrupted. Moreover, we propose a new method and baseline methods for the new task, inspired by studies in learning with noisy labels. Through experiments, we demonstrate that our proposed method can serve as a safeguard against performance degradation in in-context learning caused by noisy labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google