Personal Intelligence System UniLM: Hybrid On-Device Small Language Model and Server-Based Large Language Model for Malay Nusantara

要約

計算リソースとデータ リソースが限られている状況では、特にマレー語特有のニーズに対処する場合、高リソースの言語モデルは不適切であることが判明することがよくあります。
このペーパーでは、オンデバイス モデルとサーバー ベースのモデルの両方を効率的に統合するように設計されたパーソナル インテリジェンス システムについて紹介します。
このシステムには、低メモリと低消費電力向けに最適化されたオンデバイス処理用の SLiM-34M と、サーバーベースのタスク用の MANYAK-1.3B が組み込まれており、スケーラブルで高性能な言語処理が可能です。
このモデルは、機械翻訳、質問応答、IndoMMLU の翻訳など、さまざまなタスクにわたって重要な結果を達成します。
特に注目すべきは、SLiM-34M が、他の LLM と比較して、使用する事前トレーニング トークンの量を 2 分の 1 にしながら、精度の高い向上を達成できることです。
この研究は、効果的な言語モデルを構築するには大規模な計算リソースが必要であるという一般的な仮定に疑問を投げかけ、SLiM-34M と MANYAK-1.3B の間の独自のオーケストレーションによるマレー語のリソース効率の高いモデルの開発に貢献します。

要約(オリジナル)

In contexts with limited computational and data resources, high-resource language models often prove inadequate, particularly when addressing the specific needs of Malay languages. This paper introduces a Personal Intelligence System designed to efficiently integrate both on-device and server-based models. The system incorporates SLiM-34M for on-device processing, optimized for low memory and power usage, and MANYAK-1.3B for server-based tasks, allowing for scalable, high-performance language processing. The models achieve significant results across various tasks, such as machine translation, question-answering, and translate IndoMMLU. Particularly noteworthy is SLiM-34M’s ability to achieve a high improvement in accuracy compared to other LLMs while using 2 times fewer pre-training tokens. This work challenges the prevailing assumption that large-scale computational resources are necessary to build effective language models, contributing to the development of resource-efficient models for the Malay language with the unique orchestration between SLiM-34M and MANYAK-1.3B.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google