Describing Differences in Image Sets with Natural Language

要約

2 つの画像セットはどのように異なりますか?
セットレベルの違いを識別することは、モデルの動作を理解し、データセットを分析するために重要ですが、何千もの画像を手動で選別することは現実的ではありません。
この発見プロセスを支援するために、2 つの $\textbf{sets}$ の画像間の違いを自動的に記述するタスクを検討します。これを Set Difference Captioning と呼びます。
このタスクは画像セット $D_A$ と $D_B$ を取り込み、$D_B$ よりも $D_A$ に当てはまることが多い説明を出力します。
最初に画像セットから候補の違いの説明を提案し、次に 2 つのセットをどの程度区別できるかをチェックすることによって候補を再ランク付けする 2 段階のアプローチの概要を説明します。
VisDiff を導入します。これは、最初に画像にキャプションを付け、言語モデルに候補となる説明を提案するように促し、次に CLIP を使用してこれらの説明を再ランク付けします。
VisDiff を評価するために、グランド トゥルースの差分記述を含む 187 個のペア画像セットを含むデータセットである VisDiffBench を収集します。
データセットの比較 (例: ImageNet と ImageNetV2)、分類モデルの比較 (例: ゼロショット CLIP と教師あり ResNet)、モデルの故障モードの要約 (教師あり ResNet)、生成モデル間の違いの特徴付けなど、さまざまな領域に VisDiff を適用します。
(例: StableDiffusionV1 および V2)、何が画像を思い出に残すのかを発見します。
VisDiff を使用すると、データセットとモデルの興味深い、これまで知られていなかった違いを見つけることができ、微妙な洞察を明らかにする上での有用性を実証できます。

要約(オリジナル)

How do two sets of images differ? Discerning set-level differences is crucial for understanding model behaviors and analyzing datasets, yet manually sifting through thousands of images is impractical. To aid in this discovery process, we explore the task of automatically describing the differences between two $\textbf{sets}$ of images, which we term Set Difference Captioning. This task takes in image sets $D_A$ and $D_B$, and outputs a description that is more often true on $D_A$ than $D_B$. We outline a two-stage approach that first proposes candidate difference descriptions from image sets and then re-ranks the candidates by checking how well they can differentiate the two sets. We introduce VisDiff, which first captions the images and prompts a language model to propose candidate descriptions, then re-ranks these descriptions using CLIP. To evaluate VisDiff, we collect VisDiffBench, a dataset with 187 paired image sets with ground truth difference descriptions. We apply VisDiff to various domains, such as comparing datasets (e.g., ImageNet vs. ImageNetV2), comparing classification models (e.g., zero-shot CLIP vs. supervised ResNet), summarizing model failure modes (supervised ResNet), characterizing differences between generative models (e.g., StableDiffusionV1 and V2), and discovering what makes images memorable. Using VisDiff, we are able to find interesting and previously unknown differences in datasets and models, demonstrating its utility in revealing nuanced insights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google