Performance and Energy Consumption of Parallel Machine Learning Algorithms

要約

タイトル：「並列機械学習アルゴリズムの性能とエネルギー消費量」

要約：
– 機械学習モデルは、データサイエンス、コンピュータビジョン、自然言語処理などの様々な現実的な応用分野で非常に成功している。
– しかし、機械学習でのモデル学習には大規模なデータ集合が必要であり、また正常に動作する前に多くの反復が必要である点がある。したがって、トレーニングアルゴリズムの並列化は、学習プロセスを加速するための一般的な戦略である。
– しかし、モデル学習と推論に関する多くの研究は、性能の側面にのみ焦点を当てており、電力消費量も高性能アプリケーションを含め、任意の種類の計算において重要なメトリックである。
– 低消費電力プラットフォーム（センサーやモバイルデバイスなど）で使用できる機械学習アルゴリズムは研究されているが、高性能コンピューティング用に設計されたアルゴリズムの電力最適化は行われていない。
– 本論文では、ロジスティック回帰と遺伝的アルゴリズムのC++実装、分類タスクのニューラルネットワークのPython実装と、確率的勾配降下法（SGD）アルゴリズムを行います。その後、モデルの複雑性と学習データのサイズがアルゴリズムの効率に与える影響について、電力と性能の両面で、シャードメモリ並列化、分散メモリ並列化、GPUアクセラレーションを使用してこれらの実装をテストしました。

要約(オリジナル)

Machine learning models have achieved remarkable success in various real-world applications such as data science, computer vision, and natural language processing. However, model training in machine learning requires large-scale data sets and multiple iterations before it can work properly. Parallelization of training algorithms is a common strategy to speed up the process of training. However, many studies on model training and inference focus only on aspects of performance. Power consumption is also an important metric for any type of computation, especially high-performance applications. Machine learning algorithms that can be used on low-power platforms such as sensors and mobile devices have been researched, but less power optimization is done for algorithms designed for high-performance computing. In this paper, we present a C++ implementation of logistic regression and the genetic algorithm, and a Python implementation of neural networks with stochastic gradient descent (SGD) algorithm on classification tasks. We will show the impact that the complexity of the model and the size of the training data have on the parallel efficiency of the algorithm in terms of both power and performance. We also tested these implementations using shard-memory parallelism, distributed memory parallelism, and GPU acceleration to speed up machine learning model training.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI