Visual-Linguistic Agent: Towards Collaborative Contextual Object Reasoning

要約

マルチモーダル大規模言語モデル (MLLM) は、画像内の記述タスクには優れていますが、信頼性の高い視覚的解釈に重要な要素であるオブジェクトの正確な位置特定には苦労することがよくあります。
対照的に、従来の物体検出モデルは高い位置特定精度を提供しますが、物体間の関係のモデリングが限られているため、コンテキストの一貫性を欠く検出が頻繁に生成されます。
この根本的な制限に対処するために、MLLM の関係推論の強みと従来の物体検出器の正確な位置特定機能を組み合わせた協調フレームワークである \textbf{Visual-Linguistic Agent (VLA) を導入します。
VLA パラダイムでは、MLLM は中心的な言語エージェントとして機能し、オブジェクトの検出と分類のために特殊な視覚エージェントと連携して動作します。
言語エージェントは、オブジェクト間の空間的および文脈上の関係を推論することによって検出を評価および改良し、一方、分類ビジョンエージェントは、分類の精度を向上させるための修正フィードバックを提供します。
この協調的なアプローチにより、VLA は空間推論とオブジェクトの位置特定の両方を大幅に強化し、マルチモーダルな理解における重要な課題に対処できます。
COCO データセットの広範な評価により、複数の検出モデル全体で大幅なパフォーマンスの向上が実証され、正確で文脈的に一貫した物体検出における新しいベンチマークを設定する VLA の可能性が強調されています。

要約(オリジナル)

Multimodal Large Language Models (MLLMs) excel at descriptive tasks within images but often struggle with precise object localization, a critical element for reliable visual interpretation. In contrast, traditional object detection models provide high localization accuracy but frequently generate detections lacking contextual coherence due to limited modeling of inter-object relationships. To address this fundamental limitation, we introduce the \textbf{Visual-Linguistic Agent (VLA), a collaborative framework that combines the relational reasoning strengths of MLLMs with the precise localization capabilities of traditional object detectors. In the VLA paradigm, the MLLM serves as a central Linguistic Agent, working collaboratively with specialized Vision Agents for object detection and classification. The Linguistic Agent evaluates and refines detections by reasoning over spatial and contextual relationships among objects, while the classification Vision Agent offers corrective feedback to improve classification accuracy. This collaborative approach enables VLA to significantly enhance both spatial reasoning and object localization, addressing key challenges in multimodal understanding. Extensive evaluations on the COCO dataset demonstrate substantial performance improvements across multiple detection models, highlighting VLA’s potential to set a new benchmark in accurate and contextually coherent object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google