A Review of DeepSeek Models’ Key Innovative Techniques

要約

DeepSeek-V3とDeepSeek-R1は、汎用タスクと推論のためのオープンソースの大規模言語モデル（LLMS）をリードしており、Openaiや人類のような企業の最先端のクローズドソースモデルに匹敵するパフォーマンスを達成しますが、トレーニングコストのほんの一部を必要とします。
Deepseekの成功の背後にある重要な革新的なテクニックを理解することは、LLM研究を進めるために重要です。
このホワイトペーパーでは、トランスアーキテクチャの改良、マルチヘッドの潜在的な注意や専門家の混合、マルチトークン予測などの革新、アルゴリズム、フレームワーク、ハードウェアの共同設計、罰金の相対的な政策最適化アルゴリスム、純粋な強化学習との間の微妙な栄養学習のトレーニングとの間での監督者の相対的な政策最適化のトレーニングとの訓練との訓練とのポストトレーニングでのトレーニングとのポストトレーニングなどの革新など、これらのモデルの顕著な有効性と効率性を促進するコアテクニックをレビューします。
強化学習。
さらに、いくつかの未解決の質問を特定し、この急速に進む分野での潜在的な研究機会を強調しています。

要約(オリジナル)

DeepSeek-V3 and DeepSeek-R1 are leading open-source Large Language Models (LLMs) for general-purpose tasks and reasoning, achieving performance comparable to state-of-the-art closed-source models from companies like OpenAI and Anthropic — while requiring only a fraction of their training costs. Understanding the key innovative techniques behind DeepSeek’s success is crucial for advancing LLM research. In this paper, we review the core techniques driving the remarkable effectiveness and efficiency of these models, including refinements to the transformer architecture, innovations such as Multi-Head Latent Attention and Mixture of Experts, Multi-Token Prediction, the co-design of algorithms, frameworks, and hardware, the Group Relative Policy Optimization algorithm, post-training with pure reinforcement learning and iterative training alternating between supervised fine-tuning and reinforcement learning. Additionally, we identify several open questions and highlight potential research opportunities in this rapidly advancing field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google