Batching for Green AI — An Exploratory Study on Inference

要約

バッチ サイズは、新しいニューラル ネットワークの開発中に調整する重要なパラメーターです。
他の品質指標の中でも特に、モデルの精度、一般化可能性、トレーニング時間、並列化可能性に大きな影響を与えます。
この事実は一般に知られており、よく研究されています。
ただし、深層学習モデルの適用フェーズ中、モデルがエンドユーザーによって推論に利用されるとき、バッチ サイズの導入による潜在的な利点が無視されていることがわかります。
この研究では、出版時に最先端とみなされていたコンピュータ ビジョン用の完全にトレーニングされた 5 つのニューラル ネットワークのエネルギー消費と応答時間に対する入力バッチ処理の影響を調べます。
この結果は、バッチ処理がこれらの両方の指標に大きな影響を与えることを示唆しています。
さらに、過去 10 年間のニューラル ネットワークのエネルギー効率と精度のタイムラインを示します。
一般に、エネルギー消費は精度よりもはるかに急なペースで増加していることがわかり、この進化の必要性に疑問を抱いています。
さらに、はるかに低いエネルギー消費を維持しながら、当時としては競争力のあるパフォーマンスを達成した特定のネットワークの 1 つである ShuffleNetV2(2018) を取り上げます。
それにもかかわらず、結果はモデルに依存することを強調します。

要約(オリジナル)

The batch size is an essential parameter to tune during the development of new neural networks. Amongst other quality indicators, it has a large degree of influence on the model’s accuracy, generalisability, training times and parallelisability. This fact is generally known and commonly studied. However, during the application phase of a deep learning model, when the model is utilised by an end-user for inference, we find that there is a disregard for the potential benefits of introducing a batch size. In this study, we examine the effect of input batching on the energy consumption and response times of five fully-trained neural networks for computer vision that were considered state-of-the-art at the time of their publication. The results suggest that batching has a significant effect on both of these metrics. Furthermore, we present a timeline of the energy efficiency and accuracy of neural networks over the past decade. We find that in general, energy consumption rises at a much steeper pace than accuracy and question the necessity of this evolution. Additionally, we highlight one particular network, ShuffleNetV2(2018), that achieved a competitive performance for its time while maintaining a much lower energy consumption. Nevertheless, we highlight that the results are model dependent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google