Quantization Avoids Saddle Points in Distributed Optimization

要約

分散非凸最適化は、電力システム、スマート ビルディング、協調ロボット、車両ネットワークからセンサー ネットワークに至るまで、多数の分散システムの主要な機能を支えています。
最近では、深層学習におけるデータとモデルのサイズの大幅な増加に対処するための有望なソリューションとしても統合されました。
分散非凸最適化の基本的な問題は、最適化の精度を大幅に低下させる鞍点への収束を回避することです。
私たちは、すべてのデジタル通信に必要な量子化プロセスを利用して鞍点回避を可能にできることを発見しました。
より具体的には、確率的量子化スキームを提案し、それが効果的に鞍点を回避し、分散非凸最適化において二次定常点への収束を保証できることを証明します。
このアプローチでは、量子化の粒度を簡単に調整できるため、ユーザーは反復ごとに送信されるビット数を制御できるため、通信オーバーヘッドを積極的に削減できます。
分散最適化とベンチマーク データセットでの学習問題を使用した数値実験結果により、このアプローチの有効性が確認されています。

要約(オリジナル)

Distributed nonconvex optimization underpins key functionalities of numerous distributed systems, ranging from power systems, smart buildings, cooperative robots, vehicle networks to sensor networks. Recently, it has also merged as a promising solution to handle the enormous growth in data and model sizes in deep learning. A fundamental problem in distributed nonconvex optimization is avoiding convergence to saddle points, which significantly degrade optimization accuracy. We discover that the process of quantization, which is necessary for all digital communications, can be exploited to enable saddle-point avoidance. More specifically, we propose a stochastic quantization scheme and prove that it can effectively escape saddle points and ensure convergence to a second-order stationary point in distributed nonconvex optimization. With an easily adjustable quantization granularity, the approach allows a user to control the number of bits sent per iteration and, hence, to aggressively reduce the communication overhead. Numerical experimental results using distributed optimization and learning problems on benchmark datasets confirm the effectiveness of the approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google