Comparing LLM prompting with Cross-lingual transfer performance on Indigenous and Low-resource Brazilian Languages

要約

大規模言語モデルは、さまざまなタスク向けに NLP を変革しています。
ただし、LLM が低リソース言語 (LRL) の NLP タスクをどのように実行するかについては、あまり調査されていません。
AmericasNLP ワークショップの目標に沿って、私たちはブラジルの 12 の LRL、アフリカの 2 つの LRL、および 2 つの高リソース言語 (HRL) (英語とブラジル系ポルトガル語など) に焦点を当てています。
我々の結果は、LLM は HRL と比較して、LRL の品詞 (POS) ラベリングのパフォーマンスが低いことを示しています。
この失敗の背後にある理由を説明し、データセットで観察された例を通じてエラー分析を提供します。

要約(オリジナル)

Large Language Models are transforming NLP for a variety of tasks. However, how LLMs perform NLP tasks for low-resource languages (LRLs) is less explored. In line with the goals of the AmericasNLP workshop, we focus on 12 LRLs from Brazil, 2 LRLs from Africa and 2 high-resource languages (HRLs) (e.g., English and Brazilian Portuguese). Our results indicate that the LLMs perform worse for the part of speech (POS) labeling of LRLs in comparison to HRLs. We explain the reasons behind this failure and provide an error analysis through examples observed in our data set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google