An Empirical Analysis of In-context Learning Abilities of LLMs for MT

要約

インコンテキスト学習 (ICL) は、大規模言語モデル (LLM) におけるゼロショット パフォーマンスよりも優れたパフォーマンスを一貫して実証しています。
ただし、ICL のダイナミクスと下流のパフォーマンスに影響を与える側面についての理解は、特に自然言語生成 (NLG) タスクについては依然として限られています。
この研究は、LLM の ICL 機能を調査し、機械翻訳 (MT) のタスクに対するコンテキスト内のデモンストレーションのさまざまな側面の影響を研究することで、このギャップに対処することを目的としています。
私たちの予備調査は、タスクの指示を維持しながら、コンテキスト内デモンストレーションにさまざまな摂動を適用することで、コンテキスト内学習 (ICL) がデモンストレーションと指示のどちらによって主に影響を受けるかを識別することを目的としています。
さまざまなモデル ファミリにわたる摂動サンプルに対するさまざまな動作が観察されます。特に BLOOM-7B 派生関数はノイズの影響を大きく受けますが、Llama 2 派生関数は堅牢性を示すだけでなく、摂動デモンストレーションを受けた場合にクリーンなベースラインを超える強化を示す傾向があります。
これは、ICL の堅牢性が、ノイズの種類、摂動の方向 (ソースまたはターゲット)、特定のモデルの事前トレーニングの範囲、および下流タスク (該当する場合) の微調整など、いくつかの要因によって支配される可能性があることを示唆しています。
今後の研究でこれらの要因を包括的に理解するには、さらなる調査が必要です。

要約(オリジナル)

In-context learning (ICL) has consistently demonstrated superior performance over zero-shot performance in large language models (LLMs). However, the understanding of the dynamics of ICL and the aspects that influence downstream performance remains limited, especially for natural language generation (NLG) tasks. This work aims to address this gap by investigating the ICL capabilities of LLMs and studying the impact of different aspects of the in-context demonstrations for the task of machine translation (MT). Our preliminary investigations aim to discern whether in-context learning (ICL) is predominantly influenced by demonstrations or instructions by applying diverse perturbations to in-context demonstrations while preserving the task instruction. We observe varying behavior to perturbed examples across different model families, notably with BLOOM-7B derivatives being severely influenced by noise, whereas Llama 2 derivatives not only exhibit robustness but also tend to show enhancements over the clean baseline when subject to perturbed demonstrations. This suggests that the robustness of ICL may be governed by several factors, including the type of noise, perturbation direction (source or target), the extent of pretraining of the specific model, and fine-tuning for downstream tasks if applicable. Further investigation is warranted to develop a comprehensive understanding of these factors in future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google