Scene-centric vs. Object-centric Image-Text Cross-modal Retrieval: A Reproducibility Study

要約

クロスモーダル検索 (CMR) へのほとんどのアプローチは、オブジェクト中心のデータセット (各ドキュメントが単一のオブジェクトを描写または説明することを意味します)、またはシーン中心のデータセット (各画像が複数のオブジェクトを含む複雑なシーンを描写または説明することを意味します) のいずれかに焦点を当てています。
そしてそれらの間の関係。
堅牢な CMR モデルは、両方のデータセット タイプで十分に一般化できるはずです。
CMR の最近の進歩にもかかわらず、結果の再現性とさまざまなデータセット タイプ間での一般化可能性はこれまで研究されていません。
このギャップに対処し、オブジェクト中心およびシーン中心のデータセットで評価した場合の最先端の CMR 結果の再現性に焦点を当てます。
異なるアーキテクチャを持つ 2 つの最先端の CMR モデルを選択します。(i) CLIP。
(ii) X-VLM。
さらに、2 つのシーン中心のデータセットと 3 つのオブジェクト中心のデータセットを選択し、これらのデータセットで選択したモデルの相対的なパフォーマンスを決定します。
以前に公開された CMR 実験の結果の再現性、複製性、および一般化可能性に焦点を当てています。
実験が完全に再現可能で再現可能ではないことを発見しました。
さらに、相対的なパフォーマンスの結果は、オブジェクト中心およびシーン中心のデータセット全体で部分的に一般化されます。
その上、オブジェクト中心のデータセットで得られるスコアは、シーン中心のデータセットで得られるスコアよりもはるかに低くなります。
再現性と透明性のために、ソースコードとトレーニング済みモデルを公開しています。

要約(オリジナル)

Most approaches to cross-modal retrieval (CMR) focus either on object-centric datasets, meaning that each document depicts or describes a single object, or on scene-centric datasets, meaning that each image depicts or describes a complex scene that involves multiple objects and relations between them. We posit that a robust CMR model should generalize well across both dataset types. Despite recent advances in CMR, the reproducibility of the results and their generalizability across different dataset types has not been studied before. We address this gap and focus on the reproducibility of the state-of-the-art CMR results when evaluated on object-centric and scene-centric datasets. We select two state-of-the-art CMR models with different architectures: (i) CLIP; and (ii) X-VLM. Additionally, we select two scene-centric datasets, and three object-centric datasets, and determine the relative performance of the selected models on these datasets. We focus on reproducibility, replicability, and generalizability of the outcomes of previously published CMR experiments. We discover that the experiments are not fully reproducible and replicable. Besides, the relative performance results partially generalize across object-centric and scene-centric datasets. On top of that, the scores obtained on object-centric datasets are much lower than the scores obtained on scene-centric datasets. For reproducibility and transparency we make our source code and the trained models publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google