H2O-Danube-1.8B Technical Report

要約

LLama 2 と Mistral の中心原則に従って 1T トークンでトレーニングされた 1.8B 言語モデルである H2O-Danube-1.8B を紹介します。
私たちは、大規模な言語モデルを事前トレーニングするためのさまざまな手法を活用し、洗練させています。
私たちのモデルは、同様のサイズの参照モデルと比較して大幅に少ない総トークンでトレーニングされていますが、多数のベンチマークにわたって非常に競争力のあるメトリクスを示しています。
さらに、教師付き微調整とそれに続く直接的な設定の最適化によってトレーニングされたチャット モデルをリリースします。
H2O-Danube-1.8B を Apache 2.0 ライセンスの下でオープンに利用できるようにし、LLM をより広範な利用者に経済的に民主化します。

要約(オリジナル)

We present H2O-Danube-1.8B, a 1.8B language model trained on 1T tokens following the core principles of LLama 2 and Mistral. We leverage and refine various techniques for pre-training large language models. Although our model is trained on significantly fewer total tokens compared to reference models of similar size, it exhibits highly competitive metrics across a multitude of benchmarks. We additionally release a chat model trained with supervised fine-tuning followed by direct preference optimization. We make H2O-Danube-1.8B openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google