Knowledge-Aware Federated Active Learning with Non-IID Data

要約

フェデレーション ラーニングを使用すると、ローカル トレーニング データを共有せずに、複数の分散クライアントが共同して学習できるようになります。
ただし、ローカル クライアントでデータ ラベルを取得するための高価なアノテーション コストが、ローカル データを活用する際の障害となっています。
この論文では、分散型学習方法でデータのプライバシーを保護しながら、限られたアノテーション予算でグローバル モデルを効率的に学習するフェデレーテッド アクティブ ラーニング パラダイムを提案します。
フェデレーション アクティブ ラーニングが直面する主な課題は、サーバー上のグローバル モデルのアクティブ サンプリングの目標と非同期ローカル クライアントの目標との間の不一致です。
データがローカル クライアント間で非 IID に分散される場合、これはさらに重要になります。
前述の課題に対処するために、私たちは、Knowledge-Specialized Active Sampling (KSAS) と Knowledge-Compensatory Federated Update (KCFU) で構成される、Knowledge-Aware Federated Active Learning (KAFAL) を提案します。
KSAS は、フェデレーテッド アクティブ ラーニングの問題に合わせて調整された新しいアクティブ サンプリング手法です。
ローカル モデルとグローバル モデル間の差異に基づいて積極的にサンプリングすることで、不一致の課題に対処します。
KSAS はローカル クライアントの専門知識を強化し、サンプリングされたデータがローカル クライアントとグローバル モデルの両方にとって有益であることを保証します。
一方、KCFU は、限られたデータと非 IID データの配布によって引き起こされるクライアントの異質性に対処します。
グローバル モデルの支援により、弱いクラスにおける各クライアントの能力を補います。
最先端のアクティブ ラーニング手法に対する KSAS の優位性と、フェデレーテッド アクティブ ラーニング フレームワークの下での KCFU の効率性を示すために、広範な実験と分析が行われています。

要約(オリジナル)

Federated learning enables multiple decentralized clients to learn collaboratively without sharing the local training data. However, the expensive annotation cost to acquire data labels on local clients remains an obstacle in utilizing local data. In this paper, we propose a federated active learning paradigm to efficiently learn a global model with limited annotation budget while protecting data privacy in a decentralized learning way. The main challenge faced by federated active learning is the mismatch between the active sampling goal of the global model on the server and that of the asynchronous local clients. This becomes even more significant when data is distributed non-IID across local clients. To address the aforementioned challenge, we propose Knowledge-Aware Federated Active Learning (KAFAL), which consists of Knowledge-Specialized Active Sampling (KSAS) and Knowledge-Compensatory Federated Update (KCFU). KSAS is a novel active sampling method tailored for the federated active learning problem. It deals with the mismatch challenge by sampling actively based on the discrepancies between local and global models. KSAS intensifies specialized knowledge in local clients, ensuring the sampled data to be informative for both the local clients and the global model. KCFU, in the meantime, deals with the client heterogeneity caused by limited data and non-IID data distributions. It compensates for each client’s ability in weak classes by the assistance of the global model. Extensive experiments and analyses are conducted to show the superiority of KSAS over the state-of-the-art active learning methods and the efficiency of KCFU under the federated active learning framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google