The Breeze 2 Herd of Models: Traditional Chinese LLMs Based on Llama with Vision-Aware and Function-Calling Capabilities

要約

Breeze 2 は、高度なマルチモーダル言語モデルのスイートであり、3B および 8B パラメーター構成で利用でき、繁体字中国語の表現を強化するために特別に設計されています。
Llama 3 を基礎として、Breeze 2 は、繁体字中国語の言語的および文化的遺産を強化するために、広範なコーパスで事前トレーニングを続けています。
ビジュアル エンコーダーとブリッジ モジュールを介してビジョン対応機能が組み込まれており、プロンプト テンプレートを介した関数呼び出しと関数呼び出しデータのポストトレーニングをサポートします。
Breeze 2 の有効性は、台湾の一般知識、指示に従うこと、長いコンテキスト、関数呼び出し、ビジョンの理解など、さまざまなタスクにわたってベンチマークされています。
さらに、モバイル アプリケーションでの 3B モデルの機能を紹介します。
私たちはすべての Breeze 2 モデルを Llama 3 コミュニティ ライセンスに基づいて公開しています。

要約(オリジナル)

Breeze 2 is a suite of advanced multi-modal language models, available in 3B and 8B parameter configurations, specifically designed to enhance Traditional Chinese language representation. Building upon the Llama 3, Breeze 2 continues pretraining on an extensive corpus to enhance the linguistic and cultural heritage of Traditional Chinese. It incorporates vision-aware capabilities through a visual encoder and a bridge module, and supports function-calling via prompt templates and post-training on function-calling data. The effectiveness of Breeze 2 is benchmarked across various tasks, including Taiwan general knowledge, instruction-following, long context, function calling, and vision understanding. Furthermore, we showcase the capabilities of the its 3B model in a mobile application. We are publicly releasing all Breeze 2 models under the Llama 3 Community License.

arxiv情報

著者 Chan-Jan Hsu,Chia-Sheng Liu,Meng-Hsi Chen,Muxi Chen,Po-Chun Hsu,Yi-Chang Chen,Da-Shan Shiu
発行日 2025-01-23 18:59:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL パーマリンク