From Classification to Generation: Insights into Crosslingual Retrieval Augmented ICL

要約

大規模言語モデル (LLM) の指示を理解し、従うという優れた能力は、リソースの少ない言語でのコンテキスト内学習 (ICL) のパフォーマンスによって制限されることがあります。
これに対処するために、クロスリンガル検索強化インコンテキスト学習 (CREA-ICL) を活用する新しいアプローチを導入します。
高リソース言語から意味的に類似したプロンプトを抽出することで、さまざまなタスクにわたる多言語の事前トレーニング済み言語モデル (MPLM) のゼロショット パフォーマンスを向上させることを目指しています。
私たちのアプローチは分類タスクでは着実な改善をもたらしていますが、生成タスクでは課題に直面しています。
私たちの評価は、分類と生成の両方のドメインにわたる検索拡張型インコンテキスト学習のパフォーマンスのダイナミクスに関する洞察を提供します。

要約(オリジナル)

The remarkable ability of Large Language Models (LLMs) to understand and follow instructions has sometimes been limited by their in-context learning (ICL) performance in low-resource languages. To address this, we introduce a novel approach that leverages cross-lingual retrieval-augmented in-context learning (CREA-ICL). By extracting semantically similar prompts from high-resource languages, we aim to improve the zero-shot performance of multilingual pre-trained language models (MPLMs) across diverse tasks. Though our approach yields steady improvements in classification tasks, it faces challenges in generation tasks. Our evaluation offers insights into the performance dynamics of retrieval-augmented in-context learning across both classification and generation domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google