Native vs Non-Native Language Prompting: A Comparative Analysis

要約

大規模言語モデル (LLM) は、標準の自然言語処理 (NLP) タスクなど、さまざまな分野で顕著な能力を示しています。
LLM から知識を引き出すには、自然言語の指示からなるプロンプトが重要な役割を果たします。
ほとんどのオープン ソースおよびクローズド ソース LLM は、テキスト、画像、オーディオ、ビデオなどのデジタル コンテンツなど、利用可能なラベル付きおよびラベルなしのリソースに基づいてトレーニングされます。
したがって、これらのモデルは、高リソースの言語についてはより優れた知識を持っていますが、低リソースの言語では困難を伴います。
プロンプトはその機能を理解する上で重要な役割を果たすため、プロンプトに使用される言語は依然として重要な研究課題です。
この分野では重要な研究が行われていますが、まだ限定的であり、中程度から低リソースの言語についてはあまり研究されていません。
この研究では、12 の異なるアラビア語データセット (9.7K データ ポイント) に関連付けられた 11 の異なる NLP タスクについて、さまざまなプロンプト戦略 (ネイティブ vs 非ネイティブ) を調査します。
合計で、3 つの LLM、12 のデータセット、および 3 つのプロンプト戦略を含む 197 の実験を実施しました。
私たちの調査結果は、平均して、非ネイティブ プロンプトが最も優れたパフォーマンスを示し、次に混合プロンプトとネイティブ プロンプトが続くことを示唆しています。

要約(オリジナル)

Large language models (LLMs) have shown remarkable abilities in different fields, including standard Natural Language Processing (NLP) tasks. To elicit knowledge from LLMs, prompts play a key role, consisting of natural language instructions. Most open and closed source LLMs are trained on available labeled and unlabeled resources–digital content such as text, images, audio, and videos. Hence, these models have better knowledge for high-resourced languages but struggle with low-resourced languages. Since prompts play a crucial role in understanding their capabilities, the language used for prompts remains an important research question. Although there has been significant research in this area, it is still limited, and less has been explored for medium to low-resourced languages. In this study, we investigate different prompting strategies (native vs. non-native) on 11 different NLP tasks associated with 12 different Arabic datasets (9.7K data points). In total, we conducted 197 experiments involving 3 LLMs, 12 datasets, and 3 prompting strategies. Our findings suggest that, on average, the non-native prompt performs the best, followed by mixed and native prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google