ARIA: On the interaction between Architectures, Aggregation methods and Initializations in federated visual classification

要約

Federated Learning (FL) は、機密データの交換を排除し、代わりにクライアントとサーバー間のモデル パラメーターの交換に依存することで、プライバシーを保護しながら機関を超えたモデルの学習を可能にする共同トレーニング パラダイムです。
クライアント モデルがどのように集約されるか、また最近では ImageNet の事前トレーニングの利点について個別に研究が行われているにもかかわらず、フェデレーション用に選択されたアーキテクチャが及ぼす影響や、前述の要素がどのように相互接続されるかについては理解が不足しています。
この目的を達成するために、私たちは最初の共同アーキテクチャー初期化集約研究を実施し、さまざまな医用画像分類タスクにわたって ARIA のベンチマークを行いました。
現在の慣例とは異なり、可能な限り最高のパフォーマンスを達成するには、ARIA 要素を一緒に選択する必要があることがわかりました。
私たちの結果は、タスクに応じた各要素の適切な選択、正規化レイヤーの効果、SSL 事前トレーニングの有用性も明らかにし、FL 固有のアーキテクチャとトレーニング パイプラインを設計するための潜在的な方向性を示しています。

要約(オリジナル)

Federated Learning (FL) is a collaborative training paradigm that allows for privacy-preserving learning of cross-institutional models by eliminating the exchange of sensitive data and instead relying on the exchange of model parameters between the clients and a server. Despite individual studies on how client models are aggregated, and, more recently, on the benefits of ImageNet pre-training, there is a lack of understanding of the effect the architecture chosen for the federation has, and of how the aforementioned elements interconnect. To this end, we conduct the first joint ARchitecture-Initialization-Aggregation study and benchmark ARIAs across a range of medical image classification tasks. We find that, contrary to current practices, ARIA elements have to be chosen together to achieve the best possible performance. Our results also shed light on good choices for each element depending on the task, the effect of normalisation layers, and the utility of SSL pre-training, pointing to potential directions for designing FL-specific architectures and training pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google