Ziya-Visual: Bilingual Large Vision-Language Model via Multi-Task Instruction Tuning

要約

最近の進歩により、マルチモーダル入力を統合することにより、ゼロショットの画像からテキストへの生成と理解における大規模言語モデル (LLM) の機能が拡大しました。
ただし、大規模で高品質な非英語のマルチモーダル リソースが不足しているため、そのような成功は通常英語のシナリオに限定され、他の言語で競争力のある対応物を確立することが非常に困難になります。
この論文では、マルチモーダル対話のためにビジュアル セマンティクスを LLM に組み込むように設計されたバイリンガル大規模ビジョン言語モデル (LVLM) のセットである Ziya-Visual シリーズを紹介します。
Ziya-Visual-Base と Ziya-Visual-Chat で構成されている私たちのモデルは、BLIP-2 の Querying Transformer を採用し、命令チューニング、マルチステージ トレーニング、およびビジュアル ベースの低ランク適応モジュールなどの最適化スキームの支援をさらに検討しています。
言語の調整。
さらに、収集した英語の画像テキスト データセットを中国語に翻訳し、コンテキスト内学習方法を通じて指示と応答を生成することで、マルチモーダル シナリオにおける GPT-4 の理解能力を刺激します。
実験結果は、既存の LVLM と比較して、Ziya-Visual が、ゼロショットの画像テキスト検索、画像キャプション、視覚的な質問応答など、英語のみの幅広いタスクにわたって競争力のあるパフォーマンスを達成していることを示しています。
GPT-4 によってアクセスされた評価リーダーボードは、私たちのモデルが中国語のマルチモーダル シナリオ ダイアログで満足のいく画像テキストの理解と生成機能を備えていることも示しています。
コード、デモ、モデルは ~\url{https://huggingface.co/IDEA-CCNL/Ziya-BLIP2-14B-Visual-v1} で入手できます。

要約(オリジナル)

Recent advancements enlarge the capabilities of large language models (LLMs) in zero-shot image-to-text generation and understanding by integrating multi-modal inputs. However, such success is typically limited to English scenarios due to the lack of large-scale and high-quality non-English multi-modal resources, making it extremely difficult to establish competitive counterparts in other languages. In this paper, we introduce the Ziya-Visual series, a set of bilingual large-scale vision-language models (LVLMs) designed to incorporate visual semantics into LLM for multi-modal dialogue. Composed of Ziya-Visual-Base and Ziya-Visual-Chat, our models adopt the Querying Transformer from BLIP-2, further exploring the assistance of optimization schemes such as instruction tuning, multi-stage training and low-rank adaptation module for visual-language alignment. In addition, we stimulate the understanding ability of GPT-4 in multi-modal scenarios, translating our gathered English image-text datasets into Chinese and generating instruction-response through the in-context learning method. The experiment results demonstrate that compared to the existing LVLMs, Ziya-Visual achieves competitive performance across a wide range of English-only tasks including zero-shot image-text retrieval, image captioning, and visual question answering. The evaluation leaderboard accessed by GPT-4 also indicates that our models possess satisfactory image-text understanding and generation capabilities in Chinese multi-modal scenario dialogues. Code, demo and models are available at ~\url{https://huggingface.co/IDEA-CCNL/Ziya-BLIP2-14B-Visual-v1}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google