Quizzard@INOVA Challenge 2025 — Track A: Plug-and-Play Technique in Interleaved Multi-Image Model

要約

このペーパーでは、2つの主要な目的について説明します。
第一に、マルチイメージの推論、ドキュメント、知識ベースの理解、インタラクティブマルチモーダルコミュニケーションの3つの異なるタスクにわたる22のデータセットで、Llava-next-interleaveの印象的なパフォーマンスを実証します。
第二に、LLAVA-Next-InterLeaveに高密度のチャネル統合（DCI）コネクタを追加し、そのパフォーマンスを標準モデルと比較します。
標準モデルは、Vision、NLVR2、Fashion200Kなどのビジョンが多いタスクに優れており、全体的な精度が最も高いことがわかります。
一方、DCI-Enhancedバージョンは、MIT-States_PropertyCoherenceやSlideVQAなど、より深いセマンティックコヒーレンスまたは構造化された変更理解を必要とするデータセットの特定の強度を示しています。
私たちの結果は、強力な基礎モデルをインターリーブタスクのプラグアンドプレイ技術と組み合わせる可能性を強調しています。
このコードは、https：//github.com/dinhvietcuong1996/icme25-inovaで入手できます。

要約(オリジナル)

This paper addresses two main objectives. Firstly, we demonstrate the impressive performance of the LLaVA-NeXT-interleave on 22 datasets across three different tasks: Multi-Image Reasoning, Documents and Knowledge-Based Understanding and Interactive Multi-Modal Communication. Secondly, we add the Dense Channel Integration (DCI) connector to the LLaVA-NeXT-Interleave and compare its performance against the standard model. We find that the standard model achieves the highest overall accuracy, excelling in vision-heavy tasks like VISION, NLVR2, and Fashion200K. Meanwhile, the DCI-enhanced version shows particular strength on datasets requiring deeper semantic coherence or structured change understanding such as MIT-States_PropertyCoherence and SlideVQA. Our results highlight the potential of combining powerful foundation models with plug-and-play techniques for Interleave tasks. The code is available at https://github.com/dinhvietcuong1996/icme25-inova.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google