Qwen3 Technical Report

要約

この作業では、QWENモデルファミリーの最新バージョンであるQWEN3を紹介します。
QWEN3は、パフォーマンス、効率、多言語機能を向上させるために設計された一連の大規模な言語モデル（LLM）で構成されています。
QWEN3シリーズには、密度と混合物（MOE）アーキテクチャの両方のモデルが含まれており、パラメータースケールは0.6〜2350億の範囲です。
QWEN3の重要な革新は、思考モード（複雑なマルチステップ推論用）と非考えのモード（迅速な、コンテキスト駆動型応答用）の統合モードの統合です。
これにより、チャット最適化モデル（GPT-4Oなど）と専用の推論モデル（QWQ-32Bなど）などの異なるモデルを切り替える必要性がなくなり、ユーザークエリまたはチャットテンプレートに基づいて動的モードの切り替えを可能にします。
一方、QWEN3は思考予算メカニズムを導入し、ユーザーが推論中に計算リソースを適応的に割り当てることができるため、タスクの複雑さに基づいてレイテンシとパフォーマンスのバランスを取ります。
さらに、フラッグシップモデルからの知識を活用することにより、より競争力のあるパフォーマンスを確保しながら、小規模モデルを構築するために必要な計算リソースを大幅に削減します。
経験的評価は、QWEN3が、コード生成、数学的推論、エージェントタスクなどのタスクなど、より大きなMOEモデルと独自モデルとの競争など、多様なベンチマーク全体で最先端の結果を達成することを示しています。
前任者のQWEN2.5と比較して、QWEN3は多言語サポートを29から119の言語と方言に拡張し、間隔を空けた理解と生成能力を改善することでグローバルなアクセシビリティを向上させます。
再現性とコミュニティ主導の研究開発を促進するために、すべてのQWEN3モデルはApache 2.0で公開されます。

要約(オリジナル)

In this work, we present Qwen3, the latest version of the Qwen model family. Qwen3 comprises a series of large language models (LLMs) designed to advance performance, efficiency, and multilingual capabilities. The Qwen3 series includes models of both dense and Mixture-of-Expert (MoE) architectures, with parameter scales ranging from 0.6 to 235 billion. A key innovation in Qwen3 is the integration of thinking mode (for complex, multi-step reasoning) and non-thinking mode (for rapid, context-driven responses) into a unified framework. This eliminates the need to switch between different models–such as chat-optimized models (e.g., GPT-4o) and dedicated reasoning models (e.g., QwQ-32B)–and enables dynamic mode switching based on user queries or chat templates. Meanwhile, Qwen3 introduces a thinking budget mechanism, allowing users to allocate computational resources adaptively during inference, thereby balancing latency and performance based on task complexity. Moreover, by leveraging the knowledge from the flagship models, we significantly reduce the computational resources required to build smaller-scale models, while ensuring their highly competitive performance. Empirical evaluations demonstrate that Qwen3 achieves state-of-the-art results across diverse benchmarks, including tasks in code generation, mathematical reasoning, agent tasks, etc., competitive against larger MoE models and proprietary models. Compared to its predecessor Qwen2.5, Qwen3 expands multilingual support from 29 to 119 languages and dialects, enhancing global accessibility through improved cross-lingual understanding and generation capabilities. To facilitate reproducibility and community-driven research and development, all Qwen3 models are publicly accessible under Apache 2.0.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google