How good are deep models in understanding the generated images?

要約

この論文での私の目標は 2 つあります。DALL-E 2 と Midjourney によって生成された画像を深いモデルがどの程度理解できるかを研究し、これらの生成モデルを定量的に評価することです。
オブジェクト認識と視覚的質問応答 (VQA) タスクのために、2 セットの生成された画像が収集されます。
オブジェクト認識では、10 個の最先端のオブジェクト認識モデルのうちの最適なモデルが、上位 1 位と上位 5 位の精度でそれぞれ約 60\% と 80\% を達成しています。
これらの数値は、ImageNet データセットの最高精度 (91\% および 99\%) よりもはるかに低くなっています。
VQA では、OFA モデルは 50 枚の画像で 241 の二項質問に答えて 77.3\% のスコアを獲得しました。
このモデルは、バイナリ VQA-v2 データセットで 94.7\% のスコアを獲得しています。
人間は生成された画像を認識し、質問に簡単に答えることができます。
a) ディープ モデルは生成されたコンテンツを理解するのに苦労しており、微調整後にはより良くなる可能性がある、b) 生成された画像と実際の写真の間には大きな分布のずれがあると結論付けています。
分布のシフトはカテゴリに依存しているようです。
データは https://drive.google.com/file/d/1n2nCiaXtYJRRF2R73-LNE3zggeU_HeH0/view?usp=sharing で入手できます。

要約(オリジナル)

My goal in this paper is twofold: to study how well deep models can understand the images generated by DALL-E 2 and Midjourney, and to quantitatively evaluate these generative models. Two sets of generated images are collected for object recognition and visual question answering (VQA) tasks. On object recognition, the best model, out of 10 state-of-the-art object recognition models, achieves about 60\% and 80\% top-1 and top-5 accuracy, respectively. These numbers are much lower than the best accuracy on the ImageNet dataset (91\% and 99\%). On VQA, the OFA model scores 77.3\% on answering 241 binary questions across 50 images. This model scores 94.7\% on the binary VQA-v2 dataset. Humans are able to recognize the generated images and answer questions on them easily. We conclude that a) deep models struggle to understand the generated content, and may do better after fine-tuning, and b) there is a large distribution shift between the generated images and the real photographs. The distribution shift appears to be category-dependent. Data is available at: https://drive.google.com/file/d/1n2nCiaXtYJRRF2R73-LNE3zggeU_HeH0/view?usp=sharing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google