FedAD-Bench: A Unified Benchmark for Federated Unsupervised Anomaly Detection in Tabular Data

要約

フェデレーテッド ラーニング (FL) の出現は、プライバシーを保護しながら分散データを活用するための有望なアプローチを示しています。
さらに、FL と異常検出の組み合わせは、サイバーセキュリティやヘルスケアなどの複数のソースからの機密データ内のまれで重大な異常 (通常、ローカルで収集されたデータでもまれ) を検出できるため、特に魅力的です。
ただし、フロリダ州環境における異常検出方法のパフォーマンスのベンチマークは、依然として未開発の領域です。
このペーパーでは、FL のコンテキスト内で教師なし異常検出アルゴリズムを評価するための統合ベンチマークである FedAD-Bench を紹介します。
私たちは、通常は一元化された設定でのみ評価されていた、フェデレーテッド設定での最近のディープラーニング異常検出モデルのパフォーマンスを体系的に分析し、比較します。
FedAD-Bench は、総合的な評価を提供するために、さまざまなデータセットと指標を網羅しています。
広範な実験を通じて、モデル集約の非効率性やメトリクスの信頼性の低さなどの主要な課題を特定します。
FL の正則化効果についての洞察を示し、オーバーフィッティングを軽減する固有の能力により、FL が集中型アプローチよりも優れたパフォーマンスを発揮するシナリオを明らかにします。
私たちの取り組みは、フェデレーテッド異常検出における将来の研究開発の指針となる標準化されたベンチマークを確立し、研究間の再現性と公正な比較を促進することを目的としています。

要約(オリジナル)

The emergence of federated learning (FL) presents a promising approach to leverage decentralized data while preserving privacy. Furthermore, the combination of FL and anomaly detection is particularly compelling because it allows for detecting rare and critical anomalies (usually also rare in locally gathered data) in sensitive data from multiple sources, such as cybersecurity and healthcare. However, benchmarking the performance of anomaly detection methods in FL environments remains an underexplored area. This paper introduces FedAD-Bench, a unified benchmark for evaluating unsupervised anomaly detection algorithms within the context of FL. We systematically analyze and compare the performance of recent deep learning anomaly detection models under federated settings, which were typically assessed solely in centralized settings. FedAD-Bench encompasses diverse datasets and metrics to provide a holistic evaluation. Through extensive experiments, we identify key challenges such as model aggregation inefficiencies and metric unreliability. We present insights into FL’s regularization effects, revealing scenarios in which it outperforms centralized approaches due to its inherent ability to mitigate overfitting. Our work aims to establish a standardized benchmark to guide future research and development in federated anomaly detection, promoting reproducibility and fair comparison across studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google