Performance of Recent Large Language Models for a Low-Resourced Language

要約

大規模言語モデル (LLM) は、過去 1 年間で大きな進歩を示しました。
GPT と Llama の新しいバージョンに加えて、他のいくつかの LLM が最近導入されました。
これらの一部は、ダウンロードして変更できるオープン モデルです。
多言語の大規模言語モデルは以前から利用可能でしたが、シンハラ語などのリソースの少ない言語でのパフォーマンスは不十分でした。
私たちは、最近の 4 つの LLM のパフォーマンスをシンハラ語で直接、および英語との翻訳によって評価しました。
また、少量の微調整データを使用して微調整可能性も評価しました。
Claude と GPT 4o は、すぐに使用できる状態で良好なパフォーマンスを発揮し、以前のバージョンよりも大幅に優れたパフォーマンスを発揮します。
Llama と Mistral のパフォーマンスは低いですが、微調整により改善の可能性が示されています。

要約(オリジナル)

Large Language Models (LLMs) have shown significant advances in the past year. In addition to new versions of GPT and Llama, several other LLMs have been introduced recently. Some of these are open models available for download and modification. Although multilingual large language models have been available for some time, their performance on low-resourced languages such as Sinhala has been poor. We evaluated four recent LLMs on their performance directly in the Sinhala language, and by translation to and from English. We also evaluated their fine-tunability with a small amount of fine-tuning data. Claude and GPT 4o perform well out-of-the-box and do significantly better than previous versions. Llama and Mistral perform poorly but show some promise of improvement with fine tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google