ColNet: Collaborative Optimization in Decentralized Federated Multi-task Learning Systems

要約

Federated Learning (FL) と Multi-Task Learning (MTL) の統合は、クライアントの異質性に対処するために検討されており、Federated Multi-Task Learning (FMTL) は各クライアントを個別のタスクとして扱います。
ただし、既存の研究のほとんどは、クライアントが根本的に異なるタスクを解決するタスクの異質性ではなく、データの異質性 (たとえば、非 IID データへの対処) に焦点を当てています。
さらに、作業の多くはフェデレーションを管理するサーバーによる集中設定に依存しているため、分散型 FMTL というより困難な領域はほとんど調査されていません。
したがって、この研究では、分散フェデレーション環境における異種タスク用に設計されたフレームワークである ColNet を提案することで、このギャップを埋めます。
ColNet はモデルをバックボーン層とタスク固有層に分割し、同様のクライアントのグループを形成し、グループ リーダーが競合を回避するグループ間集約を実行します。
さまざまなフェデレーションを使用した一連の実験により、ラベルとタスクの異質性シナリオを使用した分散設定で、ColNet が比較された集計スキームよりも優れていることが実証されました。

要約(オリジナル)

The integration of Federated Learning (FL) and Multi-Task Learning (MTL) has been explored to address client heterogeneity, with Federated Multi-Task Learning (FMTL) treating each client as a distinct task. However, most existing research focuses on data heterogeneity (e.g., addressing non-IID data) rather than task heterogeneity, where clients solve fundamentally different tasks. Additionally, much of the work relies on centralized settings with a server managing the federation, leaving the more challenging domain of decentralized FMTL largely unexplored. Thus, this work bridges this gap by proposing ColNet, a framework designed for heterogeneous tasks in decentralized federated environments. ColNet divides models into the backbone and task-specific layers, forming groups of similar clients, with group leaders performing conflict-averse cross-group aggregation. A pool of experiments with different federations demonstrated ColNet outperforms the compared aggregation schemes in decentralized settings with label and task heterogeneity scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google