Robust Regression with Ensembles Communicating over Noisy Channels

要約

機械学習モデルのサイズが大きくなるにつれて、その実装要件は単一のコンピューター システムでは満たせなくなります。
この観察により、中間計算が処理装置のネットワーク全体で実行され、中央ノードはその出力のみを集約するという分散設定が推進されます。
ただし、ノイズの多い通信チャネルのネットワーク上で動作する低精度または障害のあるエッジ デバイスに推論タスクを分散すると、信頼性に関する深刻な問題が発生します。
私たちは、回帰アルゴリズムを実装し、共同回帰タスクを共同で実行するために付加的なノイズの多いチャネルを通じて通信するデバイスのアンサンブルの問題を研究します。
私たちは問題を形式的に定義し、相関関係がある可能性があるチャネル内のノイズのパラメーターの集約係数を最適化する方法を開発します。
私たちの結果は、最先端のアンサンブル回帰手法であるバギングと勾配ブースティングに適用されます。
合成データセットと現実世界のデータセットの両方でアルゴリズムの有効性を実証します。

要約(オリジナル)

As machine-learning models grow in size, their implementation requirements cannot be met by a single computer system. This observation motivates distributed settings, in which intermediate computations are performed across a network of processing units, while the central node only aggregates their outputs. However, distributing inference tasks across low-precision or faulty edge devices, operating over a network of noisy communication channels, gives rise to serious reliability challenges. We study the problem of an ensemble of devices, implementing regression algorithms, that communicate through additive noisy channels in order to collaboratively perform a joint regression task. We define the problem formally, and develop methods for optimizing the aggregation coefficients for the parameters of the noise in the channels, which can potentially be correlated. Our results apply to the leading state-of-the-art ensemble regression methods: bagging and gradient boosting. We demonstrate the effectiveness of our algorithms on both synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google