Bridging the Gap: Dynamic Learning Strategies for Improving Multilingual Performance in LLMs

要約

大規模言語モデル (LLM) は、多数のドメインを世界的に変革する最前線にあります。
ただし、非ラテン文字やリソースの少ない言語では、その包括性と有効性は依然として限定的です。
この文書では、大規模なトレーニングや微調整を行わずに LLM の多言語パフォーマンスを向上させるという不可欠な課題に取り組みます。
一般的な質問応答 (QA) データセットを使用した多様な言語の体系的な調査と評価を通じて、多言語環境における LLM の真の可能性を引き出す新しい技術を紹介します。
私たちのアプローチには、多言語能力の大幅な向上をもたらす 3 つの主要な戦略が含まれています。
まず、多言語 LLM に合わせてプロンプトを細心の注意を払って最適化することで、その潜在的な機能を解放し、その結果、言語全体で大幅なパフォーマンスの向上が実現します。
2 番目に、LLM 検索拡張生成 (RAG) と多言語埋め込みを相乗させ、多言語タスクのパフォーマンスの向上を達成する、新しいハイブリッド アプローチを導入します。
最後に、実行時にクエリごとに最適なプロンプト戦略、LLM モデル、および埋め込みモデルを動的に選択する新しい学習アプローチを紹介します。
この動的な適応により、言語間で LLM の有効性が最大化され、最良の静的戦略やランダム戦略を上回ります。
さらに、私たちのアプローチはオフライン設定とオンライン設定の両方で構成を適応させ、新しい言語とデータセットにシームレスに適応できるため、多様な言語にわたる多言語の理解と生成が大幅に進歩します。

要約(オリジナル)

Large language models (LLMs) are at the forefront of transforming numerous domains globally. However, their inclusivity and effectiveness remain limited for non-Latin scripts and low-resource languages. This paper tackles the imperative challenge of enhancing the multilingual performance of LLMs without extensive training or fine-tuning. Through systematic investigation and evaluation of diverse languages using popular question-answering (QA) datasets, we present novel techniques that unlock the true potential of LLMs in a polyglot landscape. Our approach encompasses three key strategies that yield significant improvements in multilingual proficiency. First, by meticulously optimizing prompts tailored for polyglot LLMs, we unlock their latent capabilities, resulting in substantial performance boosts across languages. Second, we introduce a new hybrid approach that synergizes LLM Retrieval Augmented Generation (RAG) with multilingual embeddings and achieves improved multilingual task performance. Finally, we introduce a novel learning approach that dynamically selects the optimal prompt strategy, LLM model, and embedding model per query at run-time. This dynamic adaptation maximizes the efficacy of LLMs across languages, outperforming best static and random strategies. Additionally, our approach adapts configurations in both offline and online settings, and can seamlessly adapt to new languages and datasets, leading to substantial advancements in multilingual understanding and generation across diverse languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google