HyperCLOVA X Technical Report

要約

韓国の言語と文化に合わせてカスタマイズされた大規模言語モデル (LLM) ファミリーである HyperCLOVA X と、英語、数学、コーディングの競争力のある機能を紹介します。
HyperCLOVA X は、責任ある AI への取り組みを反映した厳格な安全ガイドラインを遵守しながら、韓国語、英語、およびコード データをバランスよく組み合わせてトレーニングされ、その後、人間による注釈が付けられた高品質のデータセットを使用して命令チューニングが行われました。
このモデルは、韓国語と英語の両方で、包括的な推論、知識、常識、事実性、コーディング、数学、チャット、指示への従うこと、無害性などのさまざまなベンチマークにわたって評価されます。
HyperCLOVA X は、言語と文化のニュアンスに対する深い理解に裏打ちされた、韓国語での強力な推論能力を発揮します。
固有のバイリンガルの性質とその多言語主義への拡張をさらに分析すると、モデルのクロスリンガル能力と、複数の言語ペア間の機械翻訳やクロスリンガル推論タスクなど、対象外の言語に対する強力な一般化能力が強調されます。
私たちは、HyperCLOVA X が、地域や国がソブリン LLM を開発する際に役立つガイダンスを提供できると信じています。

要約(オリジナル)

We introduce HyperCLOVA X, a family of large language models (LLMs) tailored to the Korean language and culture, along with competitive capabilities in English, math, and coding. HyperCLOVA X was trained on a balanced mix of Korean, English, and code data, followed by instruction-tuning with high-quality human-annotated datasets while abiding by strict safety guidelines reflecting our commitment to responsible AI. The model is evaluated across various benchmarks, including comprehensive reasoning, knowledge, commonsense, factuality, coding, math, chatting, instruction-following, and harmlessness, in both Korean and English. HyperCLOVA X exhibits strong reasoning capabilities in Korean backed by a deep understanding of the language and cultural nuances. Further analysis of the inherent bilingual nature and its extension to multilingualism highlights the model’s cross-lingual proficiency and strong generalization ability to untargeted languages, including machine translation between several language pairs and cross-lingual inference tasks. We believe that HyperCLOVA X can provide helpful guidance for regions or countries in developing their sovereign LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google