QueEn: A Large Language Model for Quechua-English Translation

要約

最近の研究では、大規模言語モデル (LLM) が自然言語を扱うための強力なツールであり、計算言語学の多くの分野に進歩をもたらすことが示されています。
ただし、これらのモデルをリソースの少ない言語に適用すると、トレーニング データが限られており、文化的なニュアンスを理解することが難しいため、課題に直面します。
この論文では、検索拡張生成 (RAG) とパラメータ効率の高い微調整技術を組み合わせた、ケチュア語から英語への翻訳のための新しいアプローチである QueEn を提案します。
私たちの方法では、RAG を通じて外部言語リソースを活用し、効率的なモデル適応のために低ランク適応 (LoRA) を使用します。
実験結果は、我々のアプローチがベースラインモデルを大幅に上回り、BLEU スコアが標準 GPT モデルの 1.5 に対して 17.6 であることを示しています。
RAG と微調整の統合により、当社のシステムは、計算効率を維持しながら、低リソースの言語翻訳の課題に対処できるようになります。
この取り組みは、高度な言語技術を通じて絶滅の危機に瀕している言語を保存するという広範な目標に貢献します。

要約(オリジナル)

Recent studies show that large language models (LLMs) are powerful tools for working with natural language, bringing advances in many areas of computational linguistics. However, these models face challenges when applied to low-resource languages due to limited training data and difficulty in understanding cultural nuances. In this paper, we propose QueEn, a novel approach for Quechua-English translation that combines Retrieval-Augmented Generation (RAG) with parameter-efficient fine-tuning techniques. Our method leverages external linguistic resources through RAG and uses Low-Rank Adaptation (LoRA) for efficient model adaptation. Experimental results show that our approach substantially exceeds baseline models, with a BLEU score of 17.6 compared to 1.5 for standard GPT models. The integration of RAG with fine-tuning allows our system to address the challenges of low-resource language translation while maintaining computational efficiency. This work contributes to the broader goal of preserving endangered languages through advanced language technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google