Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment

要約

タイトル：多言語LLMsはアラインメントによりより良いクロスリンガルな文脈内学習者である

要約：

– 大規模言語モデルがテストラベルを条件付けたラベル済みサンプルがなくてもテストラベルを推論できるようになったことで、文脈内学習（ICL）が進展している。
– ICLを可能にする大規模言語モデルは、低リソースの設定において反復される注釈コストを回避するための有望な進歩を提供する。
– 過去の研究では、高リソース言語から低リソース言語へのラベルナレッジの転送が極めて重要であるクロスリンガルな設定でICLを探究したことがほんのわずかしかない。
– ギャップを埋めるために、クロスリンガルなテキスト分類のICLに関する最初の深い分析を提供する。
– 入力と出力の空間のアラインメントの欠如により、ランダムな入力ラベルペアを選択する現在の方法はクロスリンガルなICLの場合には厳しく制限されていることがわかった。
– これを緩和するために、新しいプロンプト構築戦略であるCross-lingual In-context Source-Target Alignment（X-InSTA）を提案する。
– X-InSTAは、入力例の意味の一貫性とソース言語およびターゲット言語間のタスクベースのアラインメントを注入することで、44の異なるクロスリンガルペアを使用した3つの異なるタスク全体でランダムプロント選択を大幅に上回る性能を発揮することができる。

要約(オリジナル)

In-context learning (ICL) unfolds as large language models become capable of inferring test labels conditioned on a few labeled samples without any gradient update. ICL-enabled large language models provide a promising step forward toward bypassing recurrent annotation costs in a low-resource setting. Yet, only a handful of past studies have explored ICL in a cross-lingual setting, in which the need for transferring label-knowledge from a high-resource language to a low-resource one is immensely crucial. To bridge the gap, we provide the first in-depth analysis of ICL for cross-lingual text classification. We find that the prevalent mode of selecting random input-label pairs to construct the prompt-context is severely limited in the case of cross-lingual ICL, primarily due to the lack of alignment in the input as well as the output spaces. To mitigate this, we propose a novel prompt construction strategy — Cross-lingual In-context Source-Target Alignment (X-InSTA). With an injected coherence in the semantics of the input examples and a task-based alignment across the source and target languages, X-InSTA is able to outperform random prompt selection by a large margin across three different tasks using 44 different cross-lingual pairs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI