Beyond Dropout: Robust Convolutional Neural Networks Based on Local Feature Masking

要約

現代の深層学習では、モデルが敵対的攻撃に対する堅牢性と強力な一般化機能を同時に達成するという課題に取り組むことがよくありますが、この研究では、畳み込みニューラル ネットワーク (CNN) のパフォーマンスを強化することを目的とした革新的なローカル特徴マスキング (LFM) 戦略を導入しています。
両方の面で。
トレーニング段階では、CNN の浅い層にランダム特徴マスキングを戦略的に組み込み、過剰適合の問題を効果的に軽減します。これにより、モデルの汎化能力が強化され、敵対的攻撃に対する回復力が強化されます。
LFM は、特定のセマンティック特徴の欠如を補うために残りの特徴を活用することでネットワークに適応を強制し、より柔軟な特徴学習メカニズムを育成します。
LFM の有効性は、一連の定量的および定性的評価を通じて実証されており、全体として、CNN の一般化能力と敵対的攻撃に対する耐性が一貫して大幅に向上していることを示しています。これは、現在および以前の方法論では観察されなかった現象です。
確立された CNN フレームワークへの LFM のシームレスな統合は、深層学習パラダイム内で一般化と敵対的堅牢性の両方を前進させる可能性を強調しています。
堅牢な個人再識別ベースライン一般化実験や敵対的攻撃実験などの包括的な実験を通じて、前述の課題に対処する際に LFM によって提供される大幅な機能強化を実証します。
この貢献は、堅牢なニューラル ネットワーク アーキテクチャの進歩における注目すべき進歩を表しています。

要約(オリジナル)

In the contemporary of deep learning, where models often grapple with the challenge of simultaneously achieving robustness against adversarial attacks and strong generalization capabilities, this study introduces an innovative Local Feature Masking (LFM) strategy aimed at fortifying the performance of Convolutional Neural Networks (CNNs) on both fronts. During the training phase, we strategically incorporate random feature masking in the shallow layers of CNNs, effectively alleviating overfitting issues, thereby enhancing the model’s generalization ability and bolstering its resilience to adversarial attacks. LFM compels the network to adapt by leveraging remaining features to compensate for the absence of certain semantic features, nurturing a more elastic feature learning mechanism. The efficacy of LFM is substantiated through a series of quantitative and qualitative assessments, collectively showcasing a consistent and significant improvement in CNN’s generalization ability and resistance against adversarial attacks–a phenomenon not observed in current and prior methodologies. The seamless integration of LFM into established CNN frameworks underscores its potential to advance both generalization and adversarial robustness within the deep learning paradigm. Through comprehensive experiments, including robust person re-identification baseline generalization experiments and adversarial attack experiments, we demonstrate the substantial enhancements offered by LFM in addressing the aforementioned challenges. This contribution represents a noteworthy stride in advancing robust neural network architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google