Federated Continual 3D Segmentation With Single-round Communication

要約

Federated Learningは、ローカルデータのプライバシーを維持しながら、分散クライアント間のコラボレーションを促進しようとしています。
伝統的に、フェデレーションの学習方法は、クライアントのデータと学習目標が一定のままである固定設定を想定しています。
ただし、実際のシナリオでは、新しいクライアントが参加し、既存のクライアントがタスク要件が進化するにつれてセグメンテーションラベルセットを拡張する場合があります。
このような動的なフェデレーション分析のセットアップでは、通信ラウンドごとのモデル集約の従来のフェデレーションコミュニケーション戦略は最適です。
新しいクライアントが参加するにつれて、この戦略には再訓練が必要であり、通信と計算のオーバーヘッドを直線的に増加させます。
また、同期された通信の要件を課します。これは、分散クライアント間で達成することが困難です。
この論文では、マルチモデル蒸留を通じてサーバーでの1回限りのモデル集約を採用するフェデレーション継続的な学習戦略を提案します。
このアプローチは、頻繁なサーバー通信の必要性を排除しながら、グローバルモデルを構築および更新します。
新しいデータストリームを統合したり、新しいクライアントをオンボーディングしたりする場合、このアプローチは以前のクライアントモデルを効率的に再利用し、連邦全体でグローバルモデルを再訓練する必要性を回避します。
通信負荷を最小限に抑え、変更されていないクライアントをオンラインで配置する必要性をバイパスすることにより、当社のアプローチはクライアント間で同期要件を緩和し、実際のアプリケーションに適した効率的でスケーラブルなフェデレーション分析フレームワークを提供します。
アプリケーションタスクとしてマルチクラス3D腹部CTセグメンテーションを使用して、提案されたアプローチの有効性を実証します。

要約(オリジナル)

Federated learning seeks to foster collaboration among distributed clients while preserving the privacy of their local data. Traditionally, federated learning methods assume a fixed setting in which client data and learning objectives remain constant. However, in real-world scenarios, new clients may join, and existing clients may expand the segmentation label set as task requirements evolve. In such a dynamic federated analysis setup, the conventional federated communication strategy of model aggregation per communication round is suboptimal. As new clients join, this strategy requires retraining, linearly increasing communication and computation overhead. It also imposes requirements for synchronized communication, which is difficult to achieve among distributed clients. In this paper, we propose a federated continual learning strategy that employs a one-time model aggregation at the server through multi-model distillation. This approach builds and updates the global model while eliminating the need for frequent server communication. When integrating new data streams or onboarding new clients, this approach efficiently reuses previous client models, avoiding the need to retrain the global model across the entire federation. By minimizing communication load and bypassing the need to put unchanged clients online, our approach relaxes synchronization requirements among clients, providing an efficient and scalable federated analysis framework suited for real-world applications. Using multi-class 3D abdominal CT segmentation as an application task, we demonstrate the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google