Qwen Technical Report

要約

大規模言語モデル (LLM) は人工知能の分野に革命をもたらし、これまで人間だけが行うものと考えられていた自然言語処理タスクを可能にしました。
この作品では、大規模言語モデル シリーズの最初の作品である Qwen を紹介します。
Qwen は、さまざまなパラメーター数を持つ個別のモデルを網羅する包括的な言語モデル シリーズです。
これには、基本的な事前トレーニング済み言語モデルである Qwen と、人間による調整技術で微調整されたチャット モデルである Qwen-Chat が含まれています。
基本言語モデルは、多数の下流タスクにわたって一貫して優れたパフォーマンスを示し、チャット モデル、特にヒューマン フィードバックからの強化学習 (RLHF) を使用してトレーニングされたチャット モデルは非常に競争力があります。
チャット モデルは、エージェント アプリケーションを作成するための高度なツール使用機能と計画機能を備えており、コード インタープリターの利用などの複雑なタスクにおいて、より大きなモデルと比較した場合でも優れたパフォーマンスを示します。
さらに、基本言語モデルに基づいて構築された、コーディングに特化したモデルである Code-Qwen および Code-Qwen-Chat と、数学に焦点を当てたモデルである Math-Qwen-Chat を開発しました。
これらのモデルは、オープンソース モデルと比較してパフォーマンスが大幅に向上しており、独自モデルにはわずかに遅れています。

要約(オリジナル)

Large language models (LLMs) have revolutionized the field of artificial intelligence, enabling natural language processing tasks that were previously thought to be exclusive to humans. In this work, we introduce Qwen, the first installment of our large language model series. Qwen is a comprehensive language model series that encompasses distinct models with varying parameter counts. It includes Qwen, the base pretrained language models, and Qwen-Chat, the chat models finetuned with human alignment techniques. The base language models consistently demonstrate superior performance across a multitude of downstream tasks, and the chat models, particularly those trained using Reinforcement Learning from Human Feedback (RLHF), are highly competitive. The chat models possess advanced tool-use and planning capabilities for creating agent applications, showcasing impressive performance even when compared to bigger models on complex tasks like utilizing a code interpreter. Furthermore, we have developed coding-specialized models, Code-Qwen and Code-Qwen-Chat, as well as mathematics-focused models, Math-Qwen-Chat, which are built upon base language models. These models demonstrate significantly improved performance in comparison with open-source models, and slightly fall behind the proprietary models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google