Open or Closed LLM for Lesser-Resourced Languages? Lessons from Greek

要約

リソースの少ない言語の自然言語処理 (NLP) は、データセットの制限、リソースの多い言語から受け継いだバイアス、ドメイン固有のソリューションの必要性などの永続的な課題に直面しています。
この研究は、3 つの主要な貢献を通じて、現代ギリシャ語のこれらのギャップに対処します。
まず、データセットの可用性を備えた 7 つのコア NLP タスクで、オープンソース (Llama-70b) とクローズドソース (GPT-4o mini) の大規模言語モデル (LLM) のパフォーマンスを評価し、タスク固有の長所、短所、および同等性を明らかにします。
彼らのパフォーマンスで。
次に、著者名帰属を、LLM による事前トレーニングでの潜在的なデータ使用を評価するツールとして再構築することで、ギリシャ語 NLP の範囲を拡大します。高いゼロショット精度は、データの出所に対する倫理的影響を示唆します。
3 番目に、法的 NLP のケーススタディを紹介します。ここでは、要約、翻訳、埋め込み (STE) 方法論が、 \emph{長い} 法律文書のクラスタリングにおいて従来の TF-IDF アプローチよりも優れています。
これらの貢献を総合すると、リソースの少ない言語で NLP を進歩させ、モデルの評価、タスクの革新、現実世界への影響におけるギャップを埋めるためのロードマップが提供されます。

要約(オリジナル)

Natural Language Processing (NLP) for lesser-resourced languages faces persistent challenges, including limited datasets, inherited biases from high-resource languages, and the need for domain-specific solutions. This study addresses these gaps for Modern Greek through three key contributions. First, we evaluate the performance of open-source (Llama-70b) and closed-source (GPT-4o mini) large language models (LLMs) on seven core NLP tasks with dataset availability, revealing task-specific strengths, weaknesses, and parity in their performance. Second, we expand the scope of Greek NLP by reframing Authorship Attribution as a tool to assess potential data usage by LLMs in pre-training, with high 0-shot accuracy suggesting ethical implications for data provenance. Third, we showcase a legal NLP case study, where a Summarize, Translate, and Embed (STE) methodology outperforms the traditional TF-IDF approach for clustering \emph{long} legal texts. Together, these contributions provide a roadmap to advance NLP in lesser-resourced languages, bridging gaps in model evaluation, task innovation, and real-world impact.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google