Fooling Polarization-based Vision using Locally Controllable Polarizing Projection

要約

タイトル：局所的に制御可能な偏光投影を用いた偏光ベースの視覚を騙す方法

要約：

– 光の偏光は、表面の形状、材料、照明、視点などに関する豊富な情報をエンコードするため、偏光は光学計測にとって基本的な性質である。
– 単一チップの偏光センサーが登場したことにより、偏光データの取得が容易になったため、偏光に基づくビジョンは、反射除去、偏光からの形状、透明オブジェクトのセグメンテーション、色の一貫性などのアプリケーションで広く使用されている。
– しかし、偏光に基づくビジョンは、敵対的攻撃に対して脆弱である可能性があるのか？　もしそうであれば、人間の目に気づかれずに物理的に偏光に基づくビジョンを攻撃することは可能か？
– 本論文で、業界に対して、偏光に基づく視覚がRGBに比べてより深刻な脆弱性を持つ可能性があることに警告する。
– 商用LCDプロジェクタを使って、局所的に制御可能な偏光投影を実現し、ガラスセグメンテーションと色の一貫性についての最新の偏光ベースの視覚アルゴリズムを騙すことに成功した。
– 既存のRGBベースの視覚攻撃では、攻撃の効果と目の理解度のトレードオフが常に問題となっていたが、偏光投影に基づく敵対的攻撃は、接触せず、視覚的に知覚できず、人間の目は凶悪に操作された偏光光と普通の照明の違いをほとんど察知できないため、光学的な偏光依存ビジョンに対して前例のないリスクを引き起こす。
– 拡張された固体光源を使用して、偏光に基づく視力が容易に騙されることを示したことから、モノクロと三色のドメインの両方において偏光的なビジョンに適切な注意と対策が必要である。

要約(オリジナル)

Polarization is a fundamental property of light that encodes abundant information regarding surface shape, material, illumination and viewing geometry. The computer vision community has witnessed a blossom of polarization-based vision applications, such as reflection removal, shape-from-polarization, transparent object segmentation and color constancy, partially due to the emergence of single-chip mono/color polarization sensors that make polarization data acquisition easier than ever. However, is polarization-based vision vulnerable to adversarial attacks? If so, is that possible to realize these adversarial attacks in the physical world, without being perceived by human eyes? In this paper, we warn the community of the vulnerability of polarization-based vision, which can be more serious than RGB-based vision. By adapting a commercial LCD projector, we achieve locally controllable polarizing projection, which is successfully utilized to fool state-of-the-art polarization-based vision algorithms for glass segmentation and color constancy. Compared with existing physical attacks on RGB-based vision, which always suffer from the trade-off between attack efficacy and eye conceivability, the adversarial attackers based on polarizing projection are contact-free and visually imperceptible, since naked human eyes can rarely perceive the difference of viciously manipulated polarizing light and ordinary illumination. This poses unprecedented risks on polarization-based vision, both in the monochromatic and trichromatic domain, for which due attentions should be paid and counter measures be considered.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI