Deep-Relative-Trust-Based Diffusion for Decentralized Deep Learning

要約

分散型学習戦略により、エージェントの集合が中央の集約やオーケストレーションを必要とせずにローカル データ セットから効率的に学習できるようになります。
現在の分散学習パラダイムは通常、パラメータ空間での一致を促す平均化メカニズムに依存しています。
過剰にパラメータ化されることが多いディープ ニューラル ネットワークのコンテキストでは、パラメータではなくニューラル ネットワーク出力のコンセンサスを促す方がより適切である可能性があると私たちは主張します。
これは、最近導入されたニューラル ネットワークの類似性尺度である深い相対信頼 (DRT) に基づく、DRT 拡散と呼ばれる新しい分散学習アルゴリズムの開発の動機となっています。
提案された戦略の収束解析を提供し、特に画像分類タスクにおけるスパース トポロジの場合の一般化に対する利点を数値的に確立します。

要約(オリジナル)

Decentralized learning strategies allow a collection of agents to learn efficiently from local data sets without the need for central aggregation or orchestration. Current decentralized learning paradigms typically rely on an averaging mechanism to encourage agreement in the parameter space. We argue that in the context of deep neural networks, which are often over-parameterized, encouraging consensus of the neural network outputs, as opposed to their parameters can be more appropriate. This motivates the development of a new decentralized learning algorithm, termed DRT diffusion, based on deep relative trust (DRT), a recently introduced similarity measure for neural networks. We provide convergence analysis for the proposed strategy, and numerically establish its benefit to generalization, especially with sparse topologies, in an image classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google