Bielik v3 Small: Technical Report

要約

ポーランド語処理用に最適化された一連のパラメーター効率の高い生成テキストモデル（1.5bおよび4.5b）であるBielik V3を紹介します。
これらのモデルは、小規模でよく最適化されたアーキテクチャが、はるかに大きなカウンターパートに匹敵するパフォーマンスを実現しながら、かなり少ない計算リソースを必要とすることを示しています。
私たちのアプローチには、いくつかの重要なイノベーションが組み込まれています。トークンの効率を大幅に改善するカスタムポリッシュトークン剤（APT4）、指導の種類間の学習のバランスをとる加重指導クロスエントロピー損失、トレーニングの進捗に基づいて動的に調整する適応学習率です。
3億3000万台のドキュメントにまたがる292億トークンの細心の注意を払ってキュレーションされたコーパスで訓練されたこれらのモデルは、オープンPLLMリーダーボード、複雑なポリッシュテキスト理解ベンチマーク、ポーランドのEQベンチ、ポーランドの医療リーダーボードなど、複数のベンチマークに及ぶ。
4.5Bパラメーターモデルは、モデルのサイズの2〜3倍のモデルと競合する結果を達成し、1.5Bモデルは非常にコンパクトなプロファイルにもかかわらず強力なパフォーマンスを提供します。
これらの進歩は、表現されていない言語でのパラメーター効率の高い言語モデリングのための新しいベンチマークを確立し、リソースに制約のあるアプリケーションで高品質のポーランド語AIをよりアクセスしやすくします。

要約(オリジナル)

We introduce Bielik v3, a series of parameter-efficient generative text models (1.5B and 4.5B) optimized for Polish language processing. These models demonstrate that smaller, well-optimized architectures can achieve performance comparable to much larger counterparts while requiring substantially fewer computational resources. Our approach incorporates several key innovations: a custom Polish tokenizer (APT4) that significantly improves token efficiency, Weighted Instruction Cross-Entropy Loss to balance learning across instruction types, and Adaptive Learning Rate that dynamically adjusts based on training progress. Trained on a meticulously curated corpus of 292 billion tokens spanning 303 million documents, these models excel across multiple benchmarks, including the Open PL LLM Leaderboard, Complex Polish Text Understanding Benchmark, Polish EQ-Bench, and Polish Medical Leaderboard. The 4.5B parameter model achieves results competitive with models 2-3 times its size, while the 1.5B model delivers strong performance despite its extremely compact profile. These advances establish new benchmarks for parameter-efficient language modeling in less-represented languages, making high-quality Polish language AI more accessible for resource-constrained applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google