Exploring Model Learning Heterogeneity for Boosting Ensemble Robustness

要約

ディープニューラルネットワークのアンサンブルは、複雑な学習タスクの汎化性能を向上させる可能性を秘めている。本稿では、高いアンサンブル多様性を持つ異種ディープアンサンブルが、効果的にモデル学習の異質性を活用し、アンサンブルの頑健性を高めることができることを示すための形式分析と実証評価を示す。我々はまず、同じ学習問題、例えば物体検出を解くために訓練された異種DNNモデルが、我々の重み付きバウンディングボックスアンサンブルコンセンサス手法により、平均平均精度（mAP）を大幅に強化できることを示す。第二に、連結成分ラベリング（CCL）ベースのアライメントを導入することで、異なる学習問題、例えば物体検出とセマンティックセグメンテーションを解くための異種モデルのアンサンブルをさらに構成する。この2層の異質性駆動型アンサンブル構築手法により、高いアンサンブル多様性と、アンサンブルのメンバーモデル間の低い負の相関を促進するアンサンブルチームを構成することができ、負の例と敵対的攻撃の両方に対するアンサンブルの頑健性を強化できることを示す。第三に、負の相関の観点からアンサンブルのロバスト性の正式な分析を行う。広範な実験により、良性及び敵対的設定の両方において、異種アンサンブルの強化された頑健性を検証する。ソースコードはGitHubのhttps://github.com/git-disl/HeteRobust。

要約(オリジナル)

Deep neural network ensembles hold the potential of improving generalization performance for complex learning tasks. This paper presents formal analysis and empirical evaluation to show that heterogeneous deep ensembles with high ensemble diversity can effectively leverage model learning heterogeneity to boost ensemble robustness. We first show that heterogeneous DNN models trained for solving the same learning problem, e.g., object detection, can significantly strengthen the mean average precision (mAP) through our weighted bounding box ensemble consensus method. Second, we further compose ensembles of heterogeneous models for solving different learning problems, e.g., object detection and semantic segmentation, by introducing the connected component labeling (CCL) based alignment. We show that this two-tier heterogeneity driven ensemble construction method can compose an ensemble team that promotes high ensemble diversity and low negative correlation among member models of the ensemble, strengthening ensemble robustness against both negative examples and adversarial attacks. Third, we provide a formal analysis of the ensemble robustness in terms of negative correlation. Extensive experiments validate the enhanced robustness of heterogeneous ensembles in both benign and adversarial settings. The source codes are available on GitHub at https://github.com/git-disl/HeteRobust.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL