On Human Visual Contrast Sensitivity and Machine Vision Robustness: A Comparative Study

要約

色覚が人間の視覚認識システムにおいて重要な役割を果たしていることは、神経科学において十分に確立されています。
一方、人間の視覚に触発されたコンピューター ビジョンの多くの斬新な設計は、幅広いタスクやアプリケーションで成功を収めています。
それにもかかわらず、色の違いがマシン ビジョンにどのように影響するかは十分に調査されていません。
私たちの仕事は、視覚認識の人間の色覚の側面と機械のそれとの間のこのギャップを埋めようとしています.
これを実現するために、人気のある CIFAR データセットの前景色に基づいた CIFAR10-F と CIFAR100-F の 2 つのデータセットをキュレーションします。
CIFAR テスト セットの背景色に関する情報を含む既存の対応するデータセットである CIFAR10-B および CIFAR100-B と共に、前景および背景色ラベルごとの色のコントラスト レベルに基づいて各画像を割り当て、これを調査のプロキシとして使用します。
色のコントラストがマシン ビジョンに与える影響。
まず、色の違いの影響を示す概念実証研究を実施し、データセットを検証します。
さらに、より広いレベルでは、人間の視覚の重要な特性は、周囲の変化に対する堅牢性です。
したがって、眼科と堅牢性の文献からインスピレーションを得て、コントラスト感度を人間の視覚的側面からマシンビジョンに類推し、CIFAR-CoCo データセットで破損した画像を使用して現在の堅牢性研究を補完します。
要約すると、神経科学に動機付けられ、私たちがキュレーションしたデータセットを備えて、色のコントラストと破損した画像の影響について広範な分析を実行するために、2 つの次元で新しいフレームワークを考案しました。(1) モデル アーキテクチャ、(2) モデル サイズ、測定する
全体的な精度を超えたマシンビジョンの認識能力。
また、タスクの複雑さとデータ拡張がこのセットアップでどのように役割を果たすかについても説明します。
私たちの結果は、人間のような機械の知覚に対する新しい評価アプローチに注目を集めています。

要約(オリジナル)

It is well established in neuroscience that color vision plays an essential part in the human visual perception system. Meanwhile, many novel designs for computer vision inspired by human vision have achieved success in a wide range of tasks and applications. Nonetheless, how color differences affect machine vision has not been well explored. Our work tries to bridge this gap between the human color vision aspect of visual recognition and that of the machine. To achieve this, we curate two datasets: CIFAR10-F and CIFAR100-F, which are based on the foreground colors of the popular CIFAR datasets. Together with CIFAR10-B and CIFAR100-B, the existing counterpart datasets with information on the background colors of CIFAR test sets, we assign each image based on its color contrast level per its foreground and background color labels and use this as a proxy to study how color contrast affects machine vision. We first conduct a proof-of-concept study, showing the effect of color difference and validate our datasets. Furthermore, on a broader level, an important characteristic of human vision is its robustness against ambient changes; therefore, drawing inspirations from ophthalmology and the robustness literature, we analogize contrast sensitivity from the human visual aspect to machine vision and complement the current robustness study using corrupted images with our CIFAR-CoCo datasets. In summary, motivated by neuroscience and equipped with the datasets we curate, we devise a new framework in two dimensions to perform extensive analyses on the effect of color contrast and corrupted images: (1) model architecture, (2) model size, to measure the perception ability of machine vision beyond total accuracy. We also explore how task complexity and data augmentation play a role in this setup. Our results call attention to new evaluation approaches for human-like machine perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google