Addressing Label Shift in Distributed Learning via Entropy Regularization

要約

我々は、マルチノード分散学習における真のリスクを最小化するという課題に取り組む。このようなシステムは、ノード間およびノード内のラベルシフトに頻繁に曝されるため、データを各ノードに閉じ込めたまま、モデルの性能を効果的に最適化する上で重要な障害となる。この問題に対処するため、我々はテスト対訓練ラベル密度比の最尤推定を強化するVersatile Robust Label Shift (VRLS)法を提案する。VRLSはシャノンエントロピーに基づく正則化を組み込んでおり、テスト時のラベルシフトにうまく対応できるように、学習時に密度比を調整する。複数ノードの学習環境では、VRLSはノード間の密度比を学習・適応することでその能力をさらに拡張し、ラベルシフトを効果的に緩和してモデル全体の性能を向上させる。MNIST、Fashion MNIST、CIFAR-10で実施された実験では、VRLSの有効性が実証され、不均衡な設定においてベースラインを最大20%上回りました。これらの結果は、VRLSがラベルシフトに対処する上で大きな改善をもたらすことを強調しています。我々の理論解析は、推定誤差の高確率境界を確立することで、これをさらに裏付けている。

要約(オリジナル)

We address the challenge of minimizing true risk in multi-node distributed learning. These systems are frequently exposed to both inter-node and intra-node label shifts, which present a critical obstacle to effectively optimizing model performance while ensuring that data remains confined to each node. To tackle this, we propose the Versatile Robust Label Shift (VRLS) method, which enhances the maximum likelihood estimation of the test-to-train label density ratio. VRLS incorporates Shannon entropy-based regularization and adjusts the density ratio during training to better handle label shifts at the test time. In multi-node learning environments, VRLS further extends its capabilities by learning and adapting density ratios across nodes, effectively mitigating label shifts and improving overall model performance. Experiments conducted on MNIST, Fashion MNIST, and CIFAR-10 demonstrate the effectiveness of VRLS, outperforming baselines by up to 20% in imbalanced settings. These results highlight the significant improvements VRLS offers in addressing label shifts. Our theoretical analysis further supports this by establishing high-probability bounds on estimation errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL