Leveraging Learning Metrics for Improved Federated Learning

要約

現在のところ、連合設定では、説明可能な人工知能（XAI）の新たな研究、特にモデルがどの程度学習しているかを判断するのに役立つ新しい学習メトリクスを活用した学習スキームはない。これらの新しい学習メトリクスの1つは、「Effective Rank」（ER）と呼ばれるもので、行列の特異値のシャノン・エントロピーを測定する。連合学習と学習メトリックである有効ランクを結合することで、本研究は連合学習メトリック集計法を初めて提供する。

要約(オリジナル)

Currently in the federated setting, no learning schemes leverage the emerging research of explainable artificial intelligence (XAI) in particular the novel learning metrics that help determine how well a model is learning. One of these novel learning metrics is termed `Effective Rank’ (ER) which measures the Shannon Entropy of the singular values of a matrix, thus enabling a metric determining how well a layer is mapping. By joining federated learning and the learning metric, effective rank, this work will \textbf{(1)} give the first federated learning metric aggregation method \textbf{(2)} show that effective rank is well-suited to federated problems by out-performing baseline Federated Averaging \cite{konevcny2016federated} and \textbf{(3)} develop a novel weight-aggregation scheme relying on effective rank.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL