EuroBERT: Scaling Multilingual Encoders for European Languages

要約

検索、回帰、分類で使用される汎用多言語ベクトル表現は、従来、双方向エンコーダーモデルから取得されています。
その幅広い適用性にもかかわらず、エンコーダーは最近、生成デコーダーのみのモデルの進歩によって隠されています。
ただし、この進歩を促進する多くの革新は、本質的にデコーダーに結び付けられていません。
この論文では、これらの進歩のレンズを介して多言語エンコーダーの開発を再訪し、ヨーロッパと広く話されているグローバル言語をカバーする多言語エンコーダーのファミリーであるユーロベルトを紹介します。
私たちのモデルは、多言語機能、数学、コーディングにまたがる多様なタスクにわたって既存の代替案よりも優れており、最大8,192トークンのシーケンスをネイティブにサポートしています。
また、Eurobertの背後にある設計上の決定を検討し、データセットの構成とトレーニングパイプラインに関する洞察を提供します。
トレーニングフレームワークとともに、中級トレーニングチェックポイントを含むEurobertモデルを公開しています。

要約(オリジナル)

General-purpose multilingual vector representations, used in retrieval, regression and classification, are traditionally obtained from bidirectional encoder models. Despite their wide applicability, encoders have been recently overshadowed by advances in generative decoder-only models. However, many innovations driving this progress are not inherently tied to decoders. In this paper, we revisit the development of multilingual encoders through the lens of these advances, and introduce EuroBERT, a family of multilingual encoders covering European and widely spoken global languages. Our models outperform existing alternatives across a diverse range of tasks, spanning multilingual capabilities, mathematics, and coding, and natively supporting sequences of up to 8,192 tokens. We also examine the design decisions behind EuroBERT, offering insights into our dataset composition and training pipeline. We publicly release the EuroBERT models, including intermediate training checkpoints, together with our training framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google