IPA-NeRF: Illusory Poisoning Attack Against Neural Radiance Fields

要約

Neural Radiance Field (NeRF) はコンピューター ビジョンの大幅な進歩を表し、暗黙的なニューラル ネットワーク ベースのシーン表現と新しいビュー合成機能を提供します。
そのアプリケーションは、ロボット工学、都市地図作成、自律ナビゲーション、仮想現実/拡張現実などを含む多様な分野に及び、その一部は高リスクの AI アプリケーションと考えられています。
ただし、広く採用されているにもかかわらず、NeRF の堅牢性とセキュリティはほとんど解明されていないままです。
この研究では、Neural Radiance Fields に対する Illusory Poisoning Attack (IPA-NeRF) を導入することで、この分野に貢献します。
この攻撃には、NeRF に隠されたバックドア ビューを埋め込むことが含まれており、標準入力で通常のパフォーマンスを維持しながら、指定されたバックドア ビューが提示されたときに所定の出力、つまり幻想的な出力を生成できるようにします。
私たちの攻撃は、特定の位置でユーザーまたは下流モデルを欺き、同時に NeRF の異常が他の観点からは検出されないようにするように特別に設計されています。
実験結果は、Illusory Poisoning Attack の有効性を示しており、他のビューに影響を与えることなく、指定されたビューポイントに目的のイリュージョンを表示することに成功しました。
特に、この攻撃は、トレーニング セットのみに小さな摂動を導入することによって達成されます。
コードは https://github.com/jiang-wenxiang/IPA-NeRF にあります。

要約(オリジナル)

Neural Radiance Field (NeRF) represents a significant advancement in computer vision, offering implicit neural network-based scene representation and novel view synthesis capabilities. Its applications span diverse fields including robotics, urban mapping, autonomous navigation, virtual reality/augmented reality, etc., some of which are considered high-risk AI applications. However, despite its widespread adoption, the robustness and security of NeRF remain largely unexplored. In this study, we contribute to this area by introducing the Illusory Poisoning Attack against Neural Radiance Fields (IPA-NeRF). This attack involves embedding a hidden backdoor view into NeRF, allowing it to produce predetermined outputs, i.e. illusory, when presented with the specified backdoor view while maintaining normal performance with standard inputs. Our attack is specifically designed to deceive users or downstream models at a particular position while ensuring that any abnormalities in NeRF remain undetectable from other viewpoints. Experimental results demonstrate the effectiveness of our Illusory Poisoning Attack, successfully presenting the desired illusory on the specified viewpoint without impacting other views. Notably, we achieve this attack by introducing small perturbations solely to the training set. The code can be found at https://github.com/jiang-wenxiang/IPA-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google