Exploring the Effectiveness of Object-Centric Representations in Visual Question Answering: Comparative Insights with Foundation Models

要約

オブジェクト中心 (OC) 表現は、ビジュアル シーンをオブジェクトの構成としてモデル化することでその状態を表し、体系的な構成の一般化を達成し推論を容易にするために、さまざまな下流タスクで使用できる可能性があります。
ただし、これらの主張はまだ完全に分析されていません。
最近、基礎モデルは、言語からコンピュータ ビジョンに至るまでのさまざまな領域にわたって比類のない機能を実証しており、これらが多数の計算タスクの将来の研究の基礎となる可能性を示しています。
この論文では、シーンの正確な構成的理解を必要とする下流の視覚的質問応答 (VQA) のための表現学習に関する広範な実証研究を実施します。
私たちは、OC モデルと、合成データと現実世界のデータの両方で事前にトレーニングされた大規模な基礎モデルを含む代替アプローチの利点とトレードオフを徹底的に調査し、両方の長所を実現する実行可能な方法を実証します。
800 を超えるダウンストリーム VQA モデルと 15 種類のアップストリーム表現を網羅する広範な調査により、コミュニティ全体にとって興味深いと思われる追加の洞察もいくつか得られます。

要約(オリジナル)

Object-centric (OC) representations, which represent the state of a visual scene by modeling it as a composition of objects, have the potential to be used in various downstream tasks to achieve systematic compositional generalization and facilitate reasoning. However, these claims have not been thoroughly analyzed yet. Recently, foundation models have demonstrated unparalleled capabilities across diverse domains from language to computer vision, marking them as a potential cornerstone of future research for a multitude of computational tasks. In this paper, we conduct an extensive empirical study on representation learning for downstream Visual Question Answering (VQA), which requires an accurate compositional understanding of the scene. We thoroughly investigate the benefits and trade-offs of OC models and alternative approaches including large pre-trained foundation models on both synthetic and real-world data, and demonstrate a viable way to achieve the best of both worlds. The extensiveness of our study, encompassing over 800 downstream VQA models and 15 different types of upstream representations, also provides several additional insights that we believe will be of interest to the community at large.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google