Fourier Analysis on Robustness of Graph Convolutional Neural Networks for Skeleton-based Action Recognition

要約

フーリエ解析を使用して、スケルトンベースのアクション認識のためのグラフ畳み込みニューラル ネットワーク (GCN) の堅牢性と脆弱性を調査します。
グラフ フーリエ変換 (GFT) と離散フーリエ変換 (DFT) を組み合わせた結合フーリエ変換 (JFT) を採用し、敵対的攻撃や一般的な破損に対する敵対的にトレーニングされた GCN の堅牢性を検証します。
NTU RGB+D データセットを使用した実験結果から、敵対的トレーニングでは、畳み込みニューラル ネットワークに基づく画像分類中に通常発生する、敵対的攻撃と低周波摂動との間の堅牢性のトレードオフが導入されないことが明らかになりました。
この発見は、敵対的トレーニングが、敵対的攻撃やスケルトンベースのアクション認識における一般的な破損に対する堅牢性を高めるための実用的なアプローチであることを示しています。
さらに、フーリエ手法では骨格部分の咬合破壊に対する脆弱性を説明できないことがわかり、その限界が浮き彫りになっています。
これらの発見は、GCN の堅牢性についての理解を広げ、スケルトンベースの動作認識のためのより堅牢な学習方法の開発を導く可能性があります。

要約(オリジナル)

Using Fourier analysis, we explore the robustness and vulnerability of graph convolutional neural networks (GCNs) for skeleton-based action recognition. We adopt a joint Fourier transform (JFT), a combination of the graph Fourier transform (GFT) and the discrete Fourier transform (DFT), to examine the robustness of adversarially-trained GCNs against adversarial attacks and common corruptions. Experimental results with the NTU RGB+D dataset reveal that adversarial training does not introduce a robustness trade-off between adversarial attacks and low-frequency perturbations, which typically occurs during image classification based on convolutional neural networks. This finding indicates that adversarial training is a practical approach to enhancing robustness against adversarial attacks and common corruptions in skeleton-based action recognition. Furthermore, we find that the Fourier approach cannot explain vulnerability against skeletal part occlusion corruption, which highlights its limitations. These findings extend our understanding of the robustness of GCNs, potentially guiding the development of more robust learning methods for skeleton-based action recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google