Mark My Words: Dangers of Watermarked Images in ImageNet

要約

事前にトレーニングされたネットワーク、特に ImageNet でトレーニングされたネットワークの利用は、コンピューター ビジョンでは一般的な方法になっています。
ただし、以前の調査では、ImageNet データセット内のかなりの数の画像に透かしが含まれており、事前トレーニング済みのネットワークが、潜在空間内の透かしパターンなどのアーティファクトを学習しやすくなっていることが示されています。
このホワイトペーパーでは、一般的な事前トレーニング済みのアーキテクチャがそのような動作を示す程度を評価し、どのクラスが最も影響を受けるかを判断することを目的としています.
さらに、抽出された特徴に対する透かしの影響を調べます。
中国のロゴ透かしは「カートン」クラスのみに影響を与えるという一般的な考えとは対照的に、当社の分析では、「モニター」、「ほうき」、「エプロン」、「金庫」などのさまざまな ImageNet クラスが疑似相関に依存していることが明らかになりました。
最後に、透かしインプリントの影響を最も受けやすい ImageNet 事前トレーニング済みネットワークの特徴抽出レイヤーからのエンコーディングを無視することにより、微調整されたネットワークでこの問題を軽減する簡単なアプローチを提案します。

要約(オリジナル)

The utilization of pre-trained networks, especially those trained on ImageNet, has become a common practice in Computer Vision. However, prior research has indicated that a significant number of images in the ImageNet dataset contain watermarks, making pre-trained networks susceptible to learning artifacts such as watermark patterns within their latent spaces. In this paper, we aim to assess the extent to which popular pre-trained architectures display such behavior and to determine which classes are most affected. Additionally, we examine the impact of watermarks on the extracted features. Contrary to the popular belief that the Chinese logographic watermarks impact the ‘carton’ class only, our analysis reveals that a variety of ImageNet classes, such as ‘monitor’, ‘broom’, ‘apron’ and ‘safe’ rely on spurious correlations. Finally, we propose a simple approach to mitigate this issue in fine-tuned networks by ignoring the encodings from the feature-extractor layer of ImageNet pre-trained networks that are most susceptible to watermark imprints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google