DeepSeek-VL: Towards Real-World Vision-Language Understanding

要約

ここでは、現実世界の視覚および言語理解アプリケーション向けに設計されたオープンソースの視覚言語 (VL) モデルである DeepSeek-VL を紹介します。
当社のアプローチは 3 つの重要な側面を中心に構成されています。当社のデータは多様でスケーラブルであることを保証するよう努めており、Web スクリーンショット、PDF、OCR、チャート、知識ベースのコンテンツなどの現実世界のシナリオを広範囲にカバーし、実践的なデータを包括的に表現することを目指しています。
コンテキスト。
さらに、実際のユーザーシナリオからユースケース分類を作成し、それに応じて命令調整データセットを構築します。
このデータセットを使用した微調整により、実際のアプリケーションにおけるモデルのユーザー エクスペリエンスが大幅に向上します。
効率と現実世界のほとんどのシナリオの要求を考慮して、DeepSeek-VL には、比較的低い計算オーバーヘッドを維持しながら、高解像度画像 (1024 x 1024) を効率的に処理するハイブリッド ビジョン エンコーダーが組み込まれています。
この設計の選択により、さまざまな視覚的タスクにわたって重要なセマンティック情報と詳細情報をキャプチャするモデルの機能が保証されます。
私たちは、熟練した視覚言語モデルは、何よりも強力な言語能力を備えている必要があると仮定します。
事前トレーニング中の LLM 能力の保持を確実にするために、最初から LLM トレーニングを統合し、視覚モダリティと言語モダリティの間で観察される競争力学を慎重に管理することにより、効果的な VL 事前トレーニング戦略を調査します。
DeepSeek-VL ファミリ (1.3B モデルと 7B モデルの両方) は、現実世界のアプリケーションにおける視覚言語チャットボットとして優れたユーザー エクスペリエンスを示し、幅広い視覚言語ベンチマークにわたって最先端または競争力のあるパフォーマンスを達成します。
同じモデル サイズを維持しながら、言語中心のベンチマークで堅牢なパフォーマンスを維持します。
この基礎モデルに基づいてイノベーションを促進するために、1.3B モデルと 7B モデルの両方を一般に公開しました。

要約(オリジナル)

We present DeepSeek-VL, an open-source Vision-Language (VL) Model designed for real-world vision and language understanding applications. Our approach is structured around three key dimensions: We strive to ensure our data is diverse, scalable, and extensively covers real-world scenarios including web screenshots, PDFs, OCR, charts, and knowledge-based content, aiming for a comprehensive representation of practical contexts. Further, we create a use case taxonomy from real user scenarios and construct an instruction tuning dataset accordingly. The fine-tuning with this dataset substantially improves the model’s user experience in practical applications. Considering efficiency and the demands of most real-world scenarios, DeepSeek-VL incorporates a hybrid vision encoder that efficiently processes high-resolution images (1024 x 1024), while maintaining a relatively low computational overhead. This design choice ensures the model’s ability to capture critical semantic and detailed information across various visual tasks. We posit that a proficient Vision-Language Model should, foremost, possess strong language abilities. To ensure the preservation of LLM capabilities during pretraining, we investigate an effective VL pretraining strategy by integrating LLM training from the beginning and carefully managing the competitive dynamics observed between vision and language modalities. The DeepSeek-VL family (both 1.3B and 7B models) showcases superior user experiences as a vision-language chatbot in real-world applications, achieving state-of-the-art or competitive performance across a wide range of visual-language benchmarks at the same model size while maintaining robust performance on language-centric benchmarks. We have made both 1.3B and 7B models publicly accessible to foster innovations based on this foundation model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google