Distributed Learning and Inference Systems: A Networking Perspective

要約

機械学習モデルは、主に静的モデルの一元的なトレーニングと、一元化されたクラウドに保存された大規模なモデルを推論に使用することにより、さまざまなタスクにおいて人間レベルのパフォーマンスを達成し、場合によってはそれを超えています。
ただし、この集中型アプローチには、プライバシーの問題、高いストレージ需要、単一障害点、および重要なコンピューティング要件など、いくつかの欠点があります。
これらの課題により、AI のトレーニングと推論のための代替の分散型手法の開発への関心が高まっています。
配布では複数の可動部分を管理する必要があるため、さらに複雑になります。
これらの複雑さに対処し、分散型 AI システム開発のギャップを埋めるために、この研究では、新しいフレームワークであるデータとダイナミクスを意識した推論およびトレーニング ネットワーク (DA-ITN) を提案します。
DA-ITN のさまざまなコンポーネントとその機能が検討され、関連する課題と研究領域が強調されます。

要約(オリジナル)

Machine learning models have achieved, and in some cases surpassed, human-level performance in various tasks, mainly through centralized training of static models and the use of large models stored in centralized clouds for inference. However, this centralized approach has several drawbacks, including privacy concerns, high storage demands, a single point of failure, and significant computing requirements. These challenges have driven interest in developing alternative decentralized and distributed methods for AI training and inference. Distribution introduces additional complexity, as it requires managing multiple moving parts. To address these complexities and fill a gap in the development of distributed AI systems, this work proposes a novel framework, Data and Dynamics-Aware Inference and Training Networks (DA-ITN). The different components of DA-ITN and their functions are explored, and the associated challenges and research areas are highlighted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google