Comparative Analysis of Demonstration Selection Algorithms for LLM In-Context Learning

要約

インコンテキスト学習は、大規模言語モデル (LLM) が追加のトレーニングなしで新しいタスクに適応するのに役立ちます。
ただし、このパフォーマンスはデモンストレーションの品質に大きく依存するため、このプロセスを最適化するための効果的なデモンストレーション選択アルゴリズムの研究が推進されています。
これらのアルゴリズムは、ユーザーが特定のテスト入力に基づいて最適な $k$ 入力ラベルのペア (デモンストレーション サンプル) を選択するのを支援し、LLM が提供されたサンプルとテスト入力の間の関係をコンテキスト内で学習できるようにします。
提案されているすべてのデモンストレーション選択アルゴリズムにもかかわらず、その効率と有効性は依然として不明瞭です。
この明確さの欠如により、これらのアルゴリズムを現実世界のシナリオに適用することが困難になり、改善された手法の開発を目的とした将来の研究に課題が生じます。
このペーパーでは、提案された 6 つのアルゴリズムを再検討し、効率と有効性の両方の観点から 5 つのデータセットでそれらを評価します。
私たちの実験では、タスクごとにアルゴリズムのパフォーマンスに大きなばらつきがあり、一部の手法では特定のシナリオではランダム選択を上回るパフォーマンスが得られないことが明らかになりました。
また、デモンストレーションの数を増やしても必ずしもパフォーマンスが向上するとは限らず、精度と計算効率の間にはトレードオフが存在することが多いこともわかりました。
私たちのコードは https://github.com/Tizzzzy/Demonstration_Selection_Overview で入手できます。

要約(オリジナル)

In-context learning can help Large Language Models (LLMs) to adapt new tasks without additional training. However, this performance heavily depends on the quality of the demonstrations, driving research into effective demonstration selection algorithms to optimize this process. These algorithms assist users in selecting the best $k$ input-label pairs (demonstration examples) based on a given test input, enabling LLMs to in-context learn the relationship between the provided examples and the test inputs. Despite all the proposed demonstration selection algorithms, their efficiency and effectiveness remain unclear. This lack of clarity make it difficult to apply these algorithms in real-world scenarios and poses challenges for future research aimed at developing improved methods. This paper revisits six proposed algorithms, evaluating them on five datasets from both efficiency and effectiveness perspectives. Our experiments reveal significant variations in algorithm performance across different tasks, with some methods struggling to outperform random selection in certain scenarios. We also find that increasing the number of demonstrations does not always lead to better performance, and that there are often trade-offs between accuracy and computational efficiency. Our code is available at https://github.com/Tizzzzy/Demonstration_Selection_Overview.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google