Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models

要約

根拠があり、きめ細かい視覚認識能力を備えたマルチモーダル大規模言語モデル (MLLM) である Groma を紹介します。
全体的な画像の理解を超えて、Groma は地域のキャプションや視覚的なグラウンディングなどの地域レベルのタスクにも熟達しています。
このような機能は、画像入力が対象領域に分解され、その後領域トークンにエンコードされる、ローカライズされた視覚トークン化メカニズムに基づいて構築されています。
領域トークンをユーザーの指示とモデル応答に統合することで、Groma がユーザー指定の領域入力を理解し、そのテキスト出力を画像にシームレスに統合できるようになります。
さらに、Groma の根拠のあるチャット機能を強化するために、強力な GPT-4V と視覚的なプロンプト技術を活用して、視覚的に根拠のある指示データセットを厳選しました。
ローカリゼーションのために言語モデルまたは外部モジュールに依存する MLLM と比較して、Groma は標準の参照ベンチマークおよびグラウンディング ベンチマークで優れたパフォーマンスを一貫して実証し、画像トークン化にローカリゼーションを埋め込む利点を強調しています。
プロジェクトページ: https://groma-mllm.github.io/。

要約(オリジナル)

We introduce Groma, a Multimodal Large Language Model (MLLM) with grounded and fine-grained visual perception ability. Beyond holistic image understanding, Groma is adept at region-level tasks such as region captioning and visual grounding. Such capabilities are built upon a localized visual tokenization mechanism, where an image input is decomposed into regions of interest and subsequently encoded into region tokens. By integrating region tokens into user instructions and model responses, we seamlessly enable Groma to understand user-specified region inputs and ground its textual output to images. Besides, to enhance the grounded chat ability of Groma, we curate a visually grounded instruction dataset by leveraging the powerful GPT-4V and visual prompting techniques. Compared with MLLMs that rely on the language model or external module for localization, Groma consistently demonstrates superior performances in standard referring and grounding benchmarks, highlighting the advantages of embedding localization into image tokenization. Project page: https://groma-mllm.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google