Reliable Federated Disentangling Network for Non-IID Domain Feature

要約

効果的な分散型分散学習アプローチとしてのフェデレーテッド ラーニング (FL) を使用すると、複数の機関がローカル データを共有せずに共同でモデルをトレーニングできます。
ただし、異なる取得デバイス/クライアントによって引き起こされるドメイン特徴のシフトにより、FL モデルのパフォーマンスが大幅に低下します。
さらに、既存の FL アプローチのほとんどは、信頼性 (信頼性や不確実性など) を考慮せずに精度を向上させることを目的としています。
したがって、安全性が重要なアプリケーションに導入された場合、予測は信頼できません。
したがって、モデルの信頼性を高めながら、非ドメイン機能の問題における FL のパフォーマンスを向上させることを目指しています。
この論文では、RFedDis と呼ばれる、新しい信頼性の高いフェデレーテッド もつれ解除ネットワークを提案します。このネットワークは、特徴のもつれ解除を利用して、グローバルなドメイン不変のクライアント間表現をキャプチャし、ローカルのクライアント固有の特徴学習を保持する機能を可能にします。
一方、分離された特徴を効果的に統合するために、推定された不確実性を使用して信頼性の高い予測を生成しながら、分離された特徴を証拠レベルで動的に統合するネットワークをガイドするために、不確実性を考慮した意思決定フュージョンも導入されています。
私たちの知る限り、私たちが提案する RFedDis は、特徴のもつれ解除と組み合わせた証拠の不確実性に基づいた FL アプローチを開発した最初の研究であり、非 IID ドメイン特徴における FL のパフォーマンスと信頼性を向上させます。
広範な実験結果は、私たちが提案する RFedDis が他の最先端の FL アプローチと比較して、高い信頼性で優れたパフォーマンスを提供することを示しています。

要約(オリジナル)

Federated learning (FL), as an effective decentralized distributed learning approach, enables multiple institutions to jointly train a model without sharing their local data. However, the domain feature shift caused by different acquisition devices/clients substantially degrades the performance of the FL model. Furthermore, most existing FL approaches aim to improve accuracy without considering reliability (e.g., confidence or uncertainty). The predictions are thus unreliable when deployed in safety-critical applications. Therefore, aiming at improving the performance of FL in non-Domain feature issues while enabling the model more reliable. In this paper, we propose a novel reliable federated disentangling network, termed RFedDis, which utilizes feature disentangling to enable the ability to capture the global domain-invariant cross-client representation and preserve local client-specific feature learning. Meanwhile, to effectively integrate the decoupled features, an uncertainty-aware decision fusion is also introduced to guide the network for dynamically integrating the decoupled features at the evidence level, while producing a reliable prediction with an estimated uncertainty. To the best of our knowledge, our proposed RFedDis is the first work to develop an FL approach based on evidential uncertainty combined with feature disentangling, which enhances the performance and reliability of FL in non-IID domain features. Extensive experimental results show that our proposed RFedDis provides outstanding performance with a high degree of reliability as compared to other state-of-the-art FL approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google