要約
Breeze 2 は、高度なマルチモーダル言語モデルのスイートであり、3B および 8B パラメーター構成で利用でき、繁体字中国語の表現を強化するために特別に設計されています。
Llama 3 を基礎として、Breeze 2 は、繁体字中国語の言語的および文化的遺産を強化するために、広範なコーパスで事前トレーニングを続けています。
ビジュアル エンコーダーとブリッジ モジュールを介してビジョン対応機能が組み込まれており、プロンプト テンプレートを介した関数呼び出しと関数呼び出しデータのポストトレーニングをサポートします。
Breeze 2 の有効性は、台湾の一般知識、指示に従うこと、長いコンテキスト、関数呼び出し、ビジョンの理解など、さまざまなタスクにわたってベンチマークされています。
さらに、モバイル アプリケーションでの 3B モデルの機能を紹介します。
私たちはすべての Breeze 2 モデルを Llama 3 コミュニティ ライセンスに基づいて公開しています。
要約(オリジナル)
Breeze 2 is a suite of advanced multi-modal language models, available in 3B and 8B parameter configurations, specifically designed to enhance Traditional Chinese language representation. Building upon the Llama 3, Breeze 2 continues pretraining on an extensive corpus to enhance the linguistic and cultural heritage of Traditional Chinese. It incorporates vision-aware capabilities through a visual encoder and a bridge module, and supports function-calling via prompt templates and post-training on function-calling data. The effectiveness of Breeze 2 is benchmarked across various tasks, including Taiwan general knowledge, instruction-following, long context, function calling, and vision understanding. Furthermore, we showcase the capabilities of the its 3B model in a mobile application. We are publicly releasing all Breeze 2 models under the Llama 3 Community License.
arxiv情報
著者 | Chan-Jan Hsu,Chia-Sheng Liu,Meng-Hsi Chen,Muxi Chen,Po-Chun Hsu,Yi-Chang Chen,Da-Shan Shiu |
発行日 | 2025-01-23 18:59:02+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google