ATR-Bench: A Federated Learning Benchmark for Adaptation, Trust, and Reasoning

要約

Federated Learning（FL）は、分散型の参加者全体でデータプライバシーを維持しながら、共同モデルトレーニングの有望なパラダイムとして浮上しています。
FLの採用が成長するにつれて、その実際的な課題に取り組むために多くの技術が提案されています。
ただし、重要な次元にわたる標準化された評価の欠如は、系統的な進歩とFLメソッドの公正な比較を妨げます。
この作業では、ATR-Benchを紹介します。ATR-Benchは、適応、信頼、推論という3つの基本的な側面を通じて、フェデレーション学習を分析するための統一されたフレームワークを紹介します。
各テーマに関連する概念的基盤、タスクの定式化、およびオープンな研究の課題を詳細に検討します。
不均一なクライアントへの適応のための代表的な方法とデータセットを広くベンチマークし、敵対的または信頼できない環境における信頼性を持っています。
フロリダ州での推論のための信頼できるメトリックとモデルがないため、この次元に関する文献主導の洞察のみを提供します。
ATRベンチは、実世界の関連性を備えたフェデレート学習の体系的かつ全体的な評価の基礎を築きます。
完全なコードベースに公開され、FL文献の新しい開発と研究を継続的に追跡するキュレーションされたリポジトリを公開します。

要約(オリジナル)

Federated Learning (FL) has emerged as a promising paradigm for collaborative model training while preserving data privacy across decentralized participants. As FL adoption grows, numerous techniques have been proposed to tackle its practical challenges. However, the lack of standardized evaluation across key dimensions hampers systematic progress and fair comparison of FL methods. In this work, we introduce ATR-Bench, a unified framework for analyzing federated learning through three foundational dimensions: Adaptation, Trust, and Reasoning. We provide an in-depth examination of the conceptual foundations, task formulations, and open research challenges associated with each theme. We have extensively benchmarked representative methods and datasets for adaptation to heterogeneous clients and trustworthiness in adversarial or unreliable environments. Due to the lack of reliable metrics and models for reasoning in FL, we only provide literature-driven insights for this dimension. ATR-Bench lays the groundwork for a systematic and holistic evaluation of federated learning with real-world relevance. We will make our complete codebase publicly accessible and a curated repository that continuously tracks new developments and research in the FL literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google