Hyacinth6B: A large language model for Traditional Chinese

要約

この研究の主な動機は、LLM に通常伴う高いハードウェアと計算の要求に対処することです。したがって、私たちの目標は、モデルの軽量さとパフォーマンスの間のバランスを見つけ、比較的軽量なモデルを使用しながらパフォーマンスを最大化するよう努めることです。
Hyacinth6B はこの目的を念頭に置いて開発され、多額のリソース コストをかけずに LLM のコア機能を最大限に活用し、小型モデルのパフォーマンスの限界を効果的に押し上げることを目指しています。
トレーニング アプローチには、LoRA メソッドを使用したパラメーター効率の良い微調整が含まれます。

要約(オリジナル)

This research’s primary motivation of this study is to address the high hardware and computational demands typically associated with LLMs.Therefore,our goal is to find a balance between model lightness and performance,striving to maximize performance while using a comparatively lightweight model. Hyacinth6B was developed with this objective in mind,aiming to fully leverage the core capabilities of LLMs without incurring substantial resource costs, effectively pushing the boundaries of smaller model’s performance. The training approach involves parameter efficient finetuning using the LoRA method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google