Crosslingual Retrieval Augmented In-context Learning for Bangla

要約

自然言語処理における大規模言語モデル (LLM) の有望性は、バングラ語などの低リソース言語でのパフォーマンスの限界によって影が薄くなることがよくあります。
これに対処するために、私たちの論文では、言語を超えた検索で強化されたコンテキスト内学習を利用する先駆的なアプローチを紹介します。
高リソース言語から意味的に類似したプロンプトを戦略的に調達することで、多言語の事前トレーニング済み言語モデル (MPLM)、特に生成モデル BLOOMZ がバングラ語タスクのパフォーマンスを向上させることができます。
私たちの広範な評価では、言語を超えた検索の強化されたプロンプトが、MPLM のゼロショット パフォーマンスに比べて着実な改善をもたらしていることが強調されています。

要約(オリジナル)

The promise of Large Language Models (LLMs) in Natural Language Processing has often been overshadowed by their limited performance in low-resource languages such as Bangla. To address this, our paper presents a pioneering approach that utilizes cross-lingual retrieval augmented in-context learning. By strategically sourcing semantically similar prompts from high-resource language, we enable multilingual pretrained language models (MPLMs), especially the generative model BLOOMZ, to successfully boost performance on Bangla tasks. Our extensive evaluation highlights that the cross-lingual retrieval augmented prompts bring steady improvements to MPLMs over the zero-shot performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google