The Impact of Demonstrations on Multilingual In-Context Learning: A Multidimensional Analysis

要約

インコンテキスト学習は、パラメーターの更新を必要とせずに、少数のラベル付きデモンストレーションのみを使用して大規模な言語モデルがタスクを解決する、一般的な推論戦略です。
英語の文脈内学習については広範な研究が行われてきましたが、多言語の文脈内学習については依然として研究が不足しており、この文脈におけるデモンストレーションの役割については深い理解が不足しています。
このギャップに対処するために、私たちは多言語のインコンテキスト学習の多次元分析を実施し、異なるモデルファミリーからの 5 つのモデル、分類および生成タスクをカバーする 9 つのデータセット、および類型的に多様な 56 の言語を実験しました。
私たちの結果は、デモンストレーションの有効性がモデル、タスク、言語によって大きく異なることを明らかにしました。
また、Llama 2-Chat、GPT-3.5、GPT-4 などの強力な指示追従モデルは、デモンストレーションの品質にほとんど影響を受けないこともわかりました。
むしろ、慎重に作成されたテンプレートでは、一部のタスクや言語のデモンストレーションの利点が完全に失われてしまうことがよくあります。
これらの調査結果は、デモンストレーションの重要性が過大評価されている可能性があることを示しています。
私たちの研究は、文脈に沿った学習をより深く理解するために、複数の軸にわたるきめ細かな評価の必要性を浮き彫りにしています。

要約(オリジナル)

In-context learning is a popular inference strategy where large language models solve a task using only a few labeled demonstrations without needing any parameter updates. Although there have been extensive studies on English in-context learning, multilingual in-context learning remains under-explored, and we lack an in-depth understanding of the role of demonstrations in this context. To address this gap, we conduct a multidimensional analysis of multilingual in-context learning, experimenting with 5 models from different model families, 9 datasets covering classification and generation tasks, and 56 typologically diverse languages. Our results reveal that the effectiveness of demonstrations varies significantly across models, tasks, and languages. We also find that strong instruction-following models including Llama 2-Chat, GPT-3.5, and GPT-4 are largely insensitive to the quality of demonstrations. Instead, a carefully crafted template often eliminates the benefits of demonstrations for some tasks and languages altogether. These findings show that the importance of demonstrations might be overestimated. Our work highlights the need for granular evaluation across multiple axes towards a better understanding of in-context learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google