Efficient Representation of the Activation Space in Deep Neural Networks

要約

ディープ ニューラル ネットワーク (DNN) の活性化空間の表現は、自然言語処理、異常検出、音声認識などのタスクに広く利用されています。
これらのタスクの性質は多様であり、DNN のサイズが大きいため、効率的かつタスクに依存しないアクティベーションの表現が重要になります。
経験的な p 値は、既知の入力によって作成されたアクティベーションと比較した、観察されたノードのアクティベーションの相対的な強さを定量化するために使用されてきました。
それにもかかわらず、これらの計算のために生データを保持すると、メモリ リソースの消費が増加し、プライバシー上の懸念が生じます。
この目的を達成するために、ノード固有のヒストグラムを使用して DNN でアクティベーションの表現を作成し、既知の入力を保持せずに観測されたアクティベーションの p 値を計算するためのモデルに依存しないフレームワークを提案します。
私たちが提案したアプローチは、さまざまなダウンストリーム タスクにわたる複数のネットワーク アーキテクチャで検証され、カーネル密度の推定値やブルート フォースの経験的ベースラインと比較された場合に、有望な可能性を示しています。
さらに、このフレームワークは、敵対的攻撃や合成コンテンツの検出などの下流タスクで最先端の検出能力を維持しながら、最大 4 倍高速な p 値計算時間によりメモリ使用量を 30% 削減します。
さらに、推論時に生データを保持しないため、攻撃やプライバシーの問題の影響を軽減できる可能性があります。

要約(オリジナル)

The representations of the activation space of deep neural networks (DNNs) are widely utilized for tasks like natural language processing, anomaly detection and speech recognition. Due to the diverse nature of these tasks and the large size of DNNs, an efficient and task-independent representation of activations becomes crucial. Empirical p-values have been used to quantify the relative strength of an observed node activation compared to activations created by already-known inputs. Nonetheless, keeping raw data for these calculations increases memory resource consumption and raises privacy concerns. To this end, we propose a model-agnostic framework for creating representations of activations in DNNs using node-specific histograms to compute p-values of observed activations without retaining already-known inputs. Our proposed approach demonstrates promising potential when validated with multiple network architectures across various downstream tasks and compared with the kernel density estimates and brute-force empirical baselines. In addition, the framework reduces memory usage by 30% with up to 4 times faster p-value computing time while maintaining state of-the-art detection power in downstream tasks such as the detection of adversarial attacks and synthesized content. Moreover, as we do not persist raw data at inference time, we could potentially reduce susceptibility to attacks and privacy issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google