Robustified ANNs Reveal Wormholes Between Human Category Percepts

要約

人工ニューラル ネットワーク (ANN) の視覚オブジェクト カテゴリのレポートは、敵対的な小さな画像の摂動に敏感であることで知られています。
人間のカテゴリレポート (別名人間の知覚) は、同じ小さな規範の摂動に対して鈍感であると考えられており、一般に局所的に安定しているため、ANN は人間の視覚認識の不完全な科学モデルであると主張されます。
これと一致して、標準の ANN モデルによって小さなノルムの画像摂動が生成された場合、人間のオブジェクト カテゴリの知覚は実際に非常に安定していることを示します。
しかし、このまったく同じ「人間が安定していると推定する」体制では、強化された ANN が人間の知覚を大きく混乱させる低ノルムの画像の摂動を確実に発見することがわかります。
これらの以前は検出できなかった人間の知覚の混乱は振幅が大きく、強化された ANN で見られるのと同じレベルの感度に近づいています。
さらに、強化された ANN が正確な知覚状態介入をサポートすることを示します。つまり、強化された ANN は、人間のカテゴリの知覚を特定の所定の知覚に向かって強く変更する低ノルム画像摂動の構築をガイドします。
これらの観察は、画像空間の任意の開始点について、近くに一連の「ワームホール」が存在し、それぞれが被験者を現在のカテゴリの知覚状態から意味的に非常に異なる状態に導くことを示唆しています。
さらに、生物学的視覚処理の現代の ANN モデルは、現在、それらのポータルに一貫して私たちを導くのに十分な精度を持っています。

要約(オリジナル)

The visual object category reports of artificial neural networks (ANNs) are notoriously sensitive to tiny, adversarial image perturbations. Because human category reports (aka human percepts) are thought to be insensitive to those same small-norm perturbations — and locally stable in general — this argues that ANNs are incomplete scientific models of human visual perception. Consistent with this, we show that when small-norm image perturbations are generated by standard ANN models, human object category percepts are indeed highly stable. However, in this very same ‘human-presumed-stable’ regime, we find that robustified ANNs reliably discover low-norm image perturbations that strongly disrupt human percepts. These previously undetectable human perceptual disruptions are massive in amplitude, approaching the same level of sensitivity seen in robustified ANNs. Further, we show that robustified ANNs support precise perceptual state interventions: they guide the construction of low-norm image perturbations that strongly alter human category percepts toward specific prescribed percepts. These observations suggest that for arbitrary starting points in image space, there exists a set of nearby ‘wormholes’, each leading the subject from their current category perceptual state into a semantically very different state. Moreover, contemporary ANN models of biological visual processing are now accurate enough to consistently guide us to those portals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google