Safe-EF: Error Feedback for Nonsmooth Constrained Optimization

要約

フェデレーション学習は、モデルの更新の高次元により、深刻なコミュニケーションボトルネックに直面しています。
収縮コンプレッサー（例えば、TOP-K）との通信圧縮は、実際には好ましいことがよくありますが、適切な取り扱いなしでパフォーマンスを低下させる可能性があります。
エラーフィードバック（EF）はそのような問題を軽減しますが、スムーズで制約のない問題のために大部分が制限されており、非滑らかな目的と安全上の制約が重要な現実世界の適用性を制限しています。
収縮圧縮を備えた1次アルゴリズムの新しい低い複雑さの境界を確立することにより、標準的な非スムース凸環境でのEFの理解を促進します。
次に、実際のアプリケーションに不可欠な安全性の制約を実施しながら、下限（一定まで）に一致する新しいアルゴリズムであるSafe-EFを提案します。
確率的設定へのアプローチを拡張すると、理論と実用的な実装の間のギャップを埋めます。
分散型ヒューマノイドロボットトレーニングをシミュレートする強化学習セットアップにおける広範な実験は、安全性を確保し、コミュニケーションの複雑さを減らすためのSafe-EFの有効性を検証します。

要約(オリジナル)

Federated learning faces severe communication bottlenecks due to the high dimensionality of model updates. Communication compression with contractive compressors (e.g., Top-K) is often preferable in practice but can degrade performance without proper handling. Error feedback (EF) mitigates such issues but has been largely restricted for smooth, unconstrained problems, limiting its real-world applicability where non-smooth objectives and safety constraints are critical. We advance our understanding of EF in the canonical non-smooth convex setting by establishing new lower complexity bounds for first-order algorithms with contractive compression. Next, we propose Safe-EF, a novel algorithm that matches our lower bound (up to a constant) while enforcing safety constraints essential for practical applications. Extending our approach to the stochastic setting, we bridge the gap between theory and practical implementation. Extensive experiments in a reinforcement learning setup, simulating distributed humanoid robot training, validate the effectiveness of Safe-EF in ensuring safety and reducing communication complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google