Limited but consistent gains in adversarial robustness by co-training object recognition models with human EEG

要約

人間の視覚とは対照的に、人工ニューラル ネットワーク (ANN) は依然として敵対的な攻撃に対して比較的脆弱です。
この脆弱性に対処するために、多くの場合、生物学的対応物と一致するように ANN 表現をトレーニングすることによって、人間の脳から ANN に帰納的バイアスを伝達する取り組みが行われてきました。
これまでの研究は、非自然条件（麻酔をかけた動物）下で、多様性と自然性に欠ける刺激データセットを使用して、脳の特定の領域から侵襲的手法を使用してげっ歯類または霊長類で取得された脳データに依存していました。
この研究では、豊富な実世界画像セットに対する人間の EEG 応答にモデル表現を整合させることで、ANN に対する堅牢性が向上するかどうかを調査しました。
具体的には、分類と脳波予測の二重タスクで ResNet50 バックボーン モデルをトレーニングしました。
そして、脳波予測の精度と敵対的攻撃に対する堅牢性を評価しました。
我々は、ネットワークの EEG 予測精度 (多くの場合、刺激開始後 100 ミリ秒程度で最高となる) と、敵対的堅牢性の向上との間に有意な相関関係を観察しました。
効果のサイズは限られていましたが、効果はさまざまなランダム初期化にわたって一貫しており、アーキテクチャのバリアントに対して堅牢でした。
さらに、個々の EEG チャネルからのデータを分離し、頭頂後頭領域の電極からの最も強い寄与を観察しました。
このようなタスクに対する人間の脳波の有用性が実証されたことにより、より強力な効果が期待できる、多様な刺激条件下でより大規模なデータセットに拡張する将来の取り組みへの道が開かれます。

要約(オリジナル)

In contrast to human vision, artificial neural networks (ANNs) remain relatively susceptible to adversarial attacks. To address this vulnerability, efforts have been made to transfer inductive bias from human brains to ANNs, often by training the ANN representations to match their biological counterparts. Previous works relied on brain data acquired in rodents or primates using invasive techniques, from specific regions of the brain, under non-natural conditions (anesthetized animals), and with stimulus datasets lacking diversity and naturalness. In this work, we explored whether aligning model representations to human EEG responses to a rich set of real-world images increases robustness to ANNs. Specifically, we trained ResNet50-backbone models on a dual task of classification and EEG prediction; and evaluated their EEG prediction accuracy and robustness to adversarial attacks. We observed significant correlation between the networks’ EEG prediction accuracy, often highest around 100 ms post stimulus onset, and their gains in adversarial robustness. Although effect size was limited, effects were consistent across different random initializations and robust for architectural variants. We further teased apart the data from individual EEG channels and observed strongest contribution from electrodes in the parieto-occipital regions. The demonstrated utility of human EEG for such tasks opens up avenues for future efforts that scale to larger datasets under diverse stimuli conditions with the promise of stronger effects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google