Generalized Lagrange Coded Computing: A Flexible Computation-Communication Tradeoff for Resilient, Secure, and Private Computation

要約

タイトル:
【一般化されたラグランジュ符号化計算：頑強で安全でプライバシー保護な計算のための柔軟な計算-通信トレードオフ】

要約:
– 分散コンピューティングシステムにおいて、複数の入力を含む大規模なデータセット上で任意多変数多項式の計算を評価する問題を考慮する。
– GLCCコードは、時間内に計算結果を返さないstragglersに対する頑健性、結果を意図的に変更する悪意のある労働者に対するセキュリティ、労働者の共謀がある場合におけるデータセットの情報理論的プライバシーを同時に提供するよう提案されている。
– GLCCコードは、まずデータセットを複数のグループに分割し、慎重に設計された補間多項式を使用してデータセットを符号化し、各労働者に複数の符号化されたデータポイントを共有させることで構築される。これにより、グループ間の干渉計算結果をマスターで消すことができる。
– 特に、GLCCコードには、最先端のラグランジュ符号化コンピューティング（LCC）コードが特殊なケースとして含まれており、システム効率を最適化するためのより柔軟な通信および計算オーバーヘッドのトレードオフが示される。
– さらに、GLCCを分散型機械学習モデルのトレーニングに適用し、異なるデータセット、モデルアーキテクチャ、およびstragglerパターンの画像分類器のトレーニングの実験において、GLCCコードはLCCコードに比べトレーニング時間で2.5〜3.9倍のスピードアップを実現することを示している。

要約(オリジナル)

We consider the problem of evaluating arbitrary multivariate polynomials over a massive dataset containing multiple inputs, on a distributed computing system with a master node and multiple worker nodes. Generalized Lagrange Coded Computing (GLCC) codes are proposed to simultaneously provide resiliency against stragglers who do not return computation results in time, security against adversarial workers who deliberately modify results for their benefit, and information-theoretic privacy of the dataset amidst possible collusion of workers. GLCC codes are constructed by first partitioning the dataset into multiple groups, then encoding the dataset using carefully designed interpolation polynomials, and sharing multiple encoded data points to each worker, such that interference computation results across groups can be eliminated at the master. Particularly, GLCC codes include the state-of-the-art Lagrange Coded Computing (LCC) codes as a special case, and exhibit a more flexible tradeoff between communication and computation overheads in optimizing system efficiency. Furthermore, we apply GLCC to distributed training of machine learning models, and demonstrate that GLCC codes achieve a speedup of up to $2.5\text{–}3.9\times$ over LCC codes in training time, across experiments for training image classifiers on different datasets, model architectures, and straggler patterns.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI