On Limitations of LLM as Annotator for Low Resource Languages

要約

低リソース言語は、教師あり学習、注釈、分類などのタスクに十分な言語データ、リソース、ツールが不足しているため、重大な課題に直面しています。
この不足により、正確なモデルやデータセットの開発が妨げられ、感情分析やヘイトスピーチ検出などの重要な NLP タスクの実行が困難になります。
このギャップを埋めるために、ラージ言語モデル (LLM) は、これらの過小評価されている言語のデータセットとリソースを生成できる、潜在的なアノテーターに機会を提供します。
このペーパーでは、低リソース言語であるマラーティー語に焦点を当て、アノテーターとしてのクローズドソースとオープンソースの LLM のパフォーマンスを評価します。
GPT-4o、Gemini 1.0 Pro、Gemma 2 (2B および 9B)、Llama 3.1 (8B) などのモデルを、感情分析、ニュース分類、ヘイトスピーチ検出などの分類タスクで評価します。
私たちの調査結果では、LLM は英語などの高リソース言語の注釈タスクでは優れているものの、マラーティー語に適用するとまだ不十分であることが明らかになりました。
Gemini や GPT のような高度なクローズド モデルでさえ、BERT ベースのベースラインと比較するとパフォーマンスが劣っており、低リソース言語のアノテーターとしての LLM の限界が浮き彫りになっています。

要約(オリジナル)

Low-resource languages face significant challenges due to the lack of sufficient linguistic data, resources, and tools for tasks such as supervised learning, annotation, and classification. This shortage hinders the development of accurate models and datasets, making it difficult to perform critical NLP tasks like sentiment analysis or hate speech detection. To bridge this gap, Large Language Models (LLMs) present an opportunity for potential annotators, capable of generating datasets and resources for these underrepresented languages. In this paper, we focus on Marathi, a low-resource language, and evaluate the performance of both closed-source and open-source LLMs as annotators. We assess models such as GPT-4o and Gemini 1.0 Pro, Gemma 2 (2B and 9B), and Llama 3.1 (8B) on classification tasks including sentiment analysis, news classification, and hate speech detection. Our findings reveal that while LLMs excel in annotation tasks for high-resource languages like English, they still fall short when applied to Marathi. Even advanced closed models like Gemini and GPT underperform in comparison to BERT-based baselines, highlighting the limitations of LLMs as annotators for low-resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google