Neural Collapse Inspired Federated Learning with Non-iid Data

要約

タイトル：非独立分布データに基づく神経崩壊にインスパイアされたフェデレーテッドラーニング
要約：
– フェデレーテッドラーニングの課題の1つは、異種デバイス間の非独立かつ同一分布でない特性であり、これがローカルアップデートの重要な違いを引き起こし、中央サーバーの性能に影響を与えることである。
– この課題に対処するために多くの研究が提案されてきたが、これらはすべてローカルトレーニングと集積プロセスに焦点を当てて変更を平滑化するために行われ、ディープラーニングモデルで高いパフォーマンスを達成できなかった。
– 神経崩壊現象からインスピレーションを得て、各クライアントを分類のための最適なグローバル構造に最適化する必要があると考えられる。具体的には、ランダムシンプレックス等角タイトフレーム（ETF）として初期化し、ローカルアップデート中すべてのクライアントの単位最適化ターゲットとして固定する。
– すべてのクライアントがグローバル最適値に収束するように保証した後、各カテゴリに対してグローバルメモリベクトルを追加することで、クライアント間の内部条件分布のバイアスに起因するパラメーターの変動に対処することが提案される。
– 実験結果から、この方法は、異なるサイズのデータセットにおいて収束速度を高速化し、パフォーマンスを改善できることが示される。

要約(オリジナル)

One of the challenges in federated learning is the non-independent and identically distributed (non-iid) characteristics between heterogeneous devices, which cause significant differences in local updates and affect the performance of the central server. Although many studies have been proposed to address this challenge, they only focus on local training and aggregation processes to smooth the changes and fail to achieve high performance with deep learning models. Inspired by the phenomenon of neural collapse, we force each client to be optimized toward an optimal global structure for classification. Specifically, we initialize it as a random simplex Equiangular Tight Frame (ETF) and fix it as the unit optimization target of all clients during the local updating. After guaranteeing all clients are learning to converge to the global optimum, we propose to add a global memory vector for each category to remedy the parameter fluctuation caused by the bias of the intra-class condition distribution among clients. Our experimental results show that our method can improve the performance with faster convergence speed on different-size datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI