Deep Learning System Boundary Testing through Latent Space Style Mixing

要約

深層学習 (DL) システムの動作フロンティアを評価することは、その一般化可能性と堅牢性を理解するために重要です。
ただし、境界テストは高次元の入力空間のため困難です。
生成人工知能は、コンパクトな潜在空間表現内のデータ分布をモデル化することで有望なソリューションを提供し、それによってよりきめの細かい探索を容易にします。
この研究では、これらの潜在表現を活用してテスト対象の DL システムのフロンティア入力を生成する、新しいブラック ボックス システムに依存しないテスト ジェネレーターである MIMICRY を紹介します。
具体的には、MIMICRY は、もつれの解けた特徴を持つ入力の表現を学習するように訓練された、スタイルベースの敵対的生成ネットワークを使用します。
この表現により、ソース入力とターゲット入力の間でスタイル混合操作を埋め込み、それらの機能を組み合わせてそれらの間の境界を探索することが可能になります。
私たちは、4 つの一般的な DL 画像分類システムの境界入力を生成する際の、さまざまな MIMICRY 構成の有効性を評価しました。
私たちの結果は、潜在空間を操作することで、行動のフロンティアを効果的かつ効率的に探索できることを示しています。
モデルベースのベースラインとは対照的に、MIMICRY は、より多くのより密接な入力を含む、より高品質な行動のフロンティアを生成します。
さらに、これらの入力の妥当性を評価したところ、人間の評価者によると高い妥当性率が明らかになりました。

要約(オリジナル)

Evaluating the behavioral frontier of deep learning (DL) systems is crucial for understanding their generalizability and robustness. However, boundary testing is challenging due to their high-dimensional input space. Generative artificial intelligence offers a promising solution by modeling data distribution within compact latent space representations, thereby facilitating finer-grained explorations. In this work, we introduce MIMICRY, a novel black-box system-agnostic test generator that leverages these latent representations to generate frontier inputs for the DL systems under test. Specifically, MIMICRY uses style-based generative adversarial networks trained to learn the representation of inputs with disentangled features. This representation enables embedding style-mixing operations between a source and a target input, combining their features to explore the boundary between them. We evaluated the effectiveness of different MIMICRY configurations in generating boundary inputs for four popular DL image classification systems. Our results show that manipulating the latent space allows for effective and efficient exploration of behavioral frontiers. As opposed to a model-based baseline, MIMICRY generates a higher quality frontier of behaviors which includes more and closer inputs. Additionally, we assessed the validity of these inputs, revealing a high validity rate according to human assessors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google