Run-Off Election: Improved Provable Defense against Data Poisoning Attacks

要約

データポイズニング攻撃では、敵が学習データのサンプルを追加、修正、削除することで、モデルの予測を変更しようとする。近年、データポイズニングに対する証明可能な防御を得るために、複数のベースモデルから多数決で予測するアンサンブルベースのアプローチが提案されている。本研究では、アンサンブル防御において、単に多数決を考慮するだけでは、ベースモデルのロジット層で利用可能な情報を有効に活用できないため、無駄があることを示す。その代わりに、ベースモデル間の2ラウンド選挙に基づく新しい集約方法であるRun-Off Election (ROE)を提案する：第1ラウンドでは、モデルは自分の好きなクラスに投票し、第2ラウンドでは、第1ラウンドの上位2クラス間でRun-Off選挙が行われる。このアプローチに基づき、我々は先行研究のDeep Partition Aggregation（DPA）とFinite Aggregation（FA）アプローチに基づくDPA+ROEとFA+ROE防御方法を提案する。本手法をMNIST、CIFAR-10、GTSRBで評価した結果、最大3%～4%の認証精度の向上が得られました。また、DPAのブーストバージョンにROEを適用することで、現在の最新技術と比較して12%～27%程度の改善が得られ、データポイズニングに対する（ポイントワイズ）認証の堅牢性において新しい最新技術が確立されました。多くの場合、我々のアプローチは、32倍少ない計算能力でも、最先端技術を凌駕しています。

要約(オリジナル)

In data poisoning attacks, an adversary tries to change a model’s prediction by adding, modifying, or removing samples in the training data. Recently, ensemble-based approaches for obtaining provable defenses against data poisoning have been proposed where predictions are done by taking a majority vote across multiple base models. In this work, we show that merely considering the majority vote in ensemble defenses is wasteful as it does not effectively utilize available information in the logits layers of the base models. Instead, we propose Run-Off Election (ROE), a novel aggregation method based on a two-round election across the base models: In the first round, models vote for their preferred class and then a second, Run-Off election is held between the top two classes in the first round. Based on this approach, we propose DPA+ROE and FA+ROE defense methods based on Deep Partition Aggregation (DPA) and Finite Aggregation (FA) approaches from prior work. We evaluate our methods on MNIST, CIFAR-10, and GTSRB and obtain improvements in certified accuracy by up to 3%-4%. Also, by applying ROE on a boosted version of DPA, we gain improvements around 12%-27% comparing to the current state-of-the-art, establishing a new state-of-the-art in (pointwise) certified robustness against data poisoning. In many cases, our approach outperforms the state-of-the-art, even when using 32 times less computational power.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL