Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study

要約

画像に関する生のテキストから画像表現を事前トレーニングすることで、下流タスクへのゼロショットビジョン転送が可能になります。
CLIP などのマルチモーダル基礎モデルは、インターネットから収集した何百万ものサンプルでの事前トレーニングを通じて、タスク固有のトレーニングを必要とせずに、完全に監視された方法で競争力に達する最先端のゼロショット結果を生成します。
これらのモデルは、分類精度に関する有望なパフォーマンスに加えて、自然分布シフトの下で ImageNet 上でトレーニングされた教師ありモデルのパフォーマンスと一致することにより、ロバスト性のギャップを埋めることが報告されています。
実際のアプリケーション、特に安全性が重要なアプリケーションにとって堅牢性は非常に重要であるため、このホワイトペーパーでは、7 つの自然分布シフト、3 つの合成分布シフト、および 11 の敵対的攻撃をカバーする大規模な堅牢性ベンチマークに基づく包括的な評価を示します。
パイロットスタディとしてCLIPを使用します。
CLIP は、特に合成分散シフトや敵対的攻撃の下で、ベンチマークの教師あり ImageNet モデルと比較して大幅な堅牢性の低下につながることを示しています。
さらに、データの重複分析は、自然な分布シフトの下で観察された堅牢性は、少なくとも部分的にはデータの重複に起因する可能性があることを示唆しています。
要約すると、私たちの評価は、堅牢性の包括的な評価が必要であることを示しています。
また、ゼロショット マルチモーダル モデルの堅牢性を向上させる必要性が大幅にあります。

要約(オリジナル)

Pre-training image representations from the raw text about images enables zero-shot vision transfer to downstream tasks. Through pre-training on millions of samples collected from the internet, multimodal foundation models, such as CLIP, produce state-of-the-art zero-shot results that often reach competitiveness with fully supervised methods without the need for task-specific training. Besides the encouraging performance on classification accuracy, it is reported that these models close the robustness gap by matching the performance of supervised models trained on ImageNet under natural distribution shift. Because robustness is critical to real-world applications, especially safety-critical ones, in this paper, we present a comprehensive evaluation based on a large-scale robustness benchmark covering 7 natural, 3 synthetic distribution shifts, and 11 adversarial attacks. We use CLIP as a pilot study. We show that CLIP leads to a significant robustness drop compared to supervised ImageNet models on our benchmark, especially under synthetic distribution shift and adversarial attacks. Furthermore, data overlap analysis suggests that the observed robustness under natural distribution shifts could be attributed, at least in part, to data overlap. In summary, our evaluation shows a comprehensive evaluation of robustness is necessary; and there is a significant need to improve the robustness of zero-shot multimodal models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google