Exploring Imbalanced Annotations for Effective In-Context Learning

要約

大規模な言語モデル（LLMS）は、注釈付きデータセットから選択されたデモに大きく依存しているコンテキスト学習（ICL）を通じて、ダウンストリームタスクで印象的なパフォーマンスを示しています。
既存の選択方法は、注釈付きのデータセットの分布にかかっている可能性があります。これは、多くの場合、実際のシナリオで長期尾を置くことができます。
この作業では、注釈付きデータセットの不均衡なクラス分布が、さまざまなタスクと選択方法にわたるICLのパフォーマンスを大幅に低下させることを示します。
さらに、従来のリバランス方法は、ICLのクラスの不均衡の問題を改善することができません。
私たちの方法は、注釈付きデータセットとテストデータセットの分布の違いを2成分の重み、クラスごとの重みと条件付きバイアスに分解することにより動機付けられています。
私たちの方法の背後にある重要なアイデアは、バランスの取れた検証データセットの経験的エラーを最小限に抑えて条件付きバイアスを推定し、2成分の重みを使用して選択中の元のスコアリング関数を変更することです。
私たちのアプローチは、元の選択方法の有効性を維持しながら、単一のクラスからあまりにも多くのデモンストレーションを選択するのを防ぐことができます。
広範な実験は、私たちの方法の有効性を実証し、不均衡なデータセットを使用した一般的なベンチマークで平均精度を最大5.46に改善します。

要約(オリジナル)

Large language models (LLMs) have shown impressive performance on downstream tasks through in-context learning (ICL), which heavily relies on the demonstrations selected from annotated datasets. Existing selection methods may hinge on the distribution of annotated datasets, which can often be long-tailed in real-world scenarios. In this work, we show that imbalanced class distributions in annotated datasets significantly degrade the performance of ICL across various tasks and selection methods. Moreover, traditional rebalance methods fail to ameliorate the issue of class imbalance in ICL. Our method is motivated by decomposing the distributional differences between annotated and test datasets into two-component weights: class-wise weights and conditional bias. The key idea behind our method is to estimate the conditional bias by minimizing the empirical error on a balanced validation dataset and to employ the two-component weights to modify the original scoring functions during selection. Our approach can prevent selecting too many demonstrations from a single class while preserving the effectiveness of the original selection methods. Extensive experiments demonstrate the effectiveness of our method, improving the average accuracy by up to 5.46 on common benchmarks with imbalanced datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google