LaFA: Latent Feature Attacks on Non-negative Matrix Factorization

要約

機械学習 (ML) アプリケーションが急速に成長するにつれて、その信頼性を損なう敵対的攻撃に関する懸念が大きな注目を集めています。
このような攻撃に対する耐性が高いことで知られる教師なし ML 手法の 1 つは、入力データを低次元の潜在特徴に分解するアルゴリズムである非負行列因数分解 (NMF) です。
しかし、Pytorch などの強力な計算ツールの導入により、元のデータに対する潜在特徴の勾配の計算が可能になり、NMF の信頼性についての懸念が生じています。
興味深いことに、ML の場合のように NMF の敵対的損失を単純に導出すると、再構築損失が発生し、理論的には非効果的な攻撃目標であることが示されます。
この研究では、NMF プロセスによって生成される潜在機能を操作することを目的とした、潜在機能攻撃 (LaFA) と呼ばれる新しいクラスの攻撃を NMF に導入します。
私たちの方法では、潜在特徴に対して直接特徴エラー (FE) 損失を利用します。
FE 損失を採用することで、元のデータに摂動が生成され、抽出された潜在的な特徴に大きな影響を及ぼし、他の ML 技術で見られる脆弱性と同様の脆弱性が明らかになります。
FE 攻撃における勾配逆伝播による大きなピークメモリ オーバーヘッドを処理するために、より大きなデータセットへのスケーリングを可能にする暗黙的な微分に基づく方法を開発しました。
私たちは、合成データと現実世界のデータに対する広範な実験を通じて、NMF の脆弱性と FE 攻撃の有効性を検証します。

要約(オリジナル)

As Machine Learning (ML) applications rapidly grow, concerns about adversarial attacks compromising their reliability have gained significant attention. One unsupervised ML method known for its resilience to such attacks is Non-negative Matrix Factorization (NMF), an algorithm that decomposes input data into lower-dimensional latent features. However, the introduction of powerful computational tools such as Pytorch enables the computation of gradients of the latent features with respect to the original data, raising concerns about NMF’s reliability. Interestingly, naively deriving the adversarial loss for NMF as in the case of ML would result in the reconstruction loss, which can be shown theoretically to be an ineffective attacking objective. In this work, we introduce a novel class of attacks in NMF termed Latent Feature Attacks (LaFA), which aim to manipulate the latent features produced by the NMF process. Our method utilizes the Feature Error (FE) loss directly on the latent features. By employing FE loss, we generate perturbations in the original data that significantly affect the extracted latent features, revealing vulnerabilities akin to those found in other ML techniques. To handle large peak-memory overhead from gradient back-propagation in FE attacks, we develop a method based on implicit differentiation which enables their scaling to larger datasets. We validate NMF vulnerabilities and FE attacks effectiveness through extensive experiments on synthetic and real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google