Moccasin: Efficient Tensor Rematerialization for Neural Networks

要約

タイトル：Moccasin: Neural Networksの効率的なテンソル再生成

要約：
– エッジコンピューティングデバイスでのニューラルネットワークの展開とトレーニングには多くの課題がある。
– エッジデバイスの低メモリ性は、大規模なニューラルネットワークモデルの展開で最も制約の多い要因の1つである。
– テンソル再生成または再計算は、ニューラルネットワークのトレーニングと推論の高いメモリ要件に対処する方法である。
– この論文では、メモリ予算に従って行われる演算グラフの実行時間の最小化の問題に焦点を当てている。
– 特に、私たちは\textsc{Moccasin}という新しい制約プログラミングフォーミュレーションを開発しました。これには、$n$が演算グラフのノード数であるとき、$O(n)$の整数変数だけが含まれます。
– これは、最近の文献で$O(n^2)$のブーリアン変数を提案するものよりも、大幅な改善である。
– 大規模なグラフに特に適用される私たちのアプローチは、最近の研究に比べて数桁以上高速であることを示す数値研究を行っています。

要約(オリジナル)

The deployment and training of neural networks on edge computing devices pose many challenges. The low memory nature of edge devices is often one of the biggest limiting factors encountered in the deployment of large neural network models. Tensor rematerialization or recompute is a way to address high memory requirements for neural network training and inference. In this paper we consider the problem of execution time minimization of compute graphs subject to a memory budget. In particular, we develop a new constraint programming formulation called \textsc{Moccasin} with only $O(n)$ integer variables, where $n$ is the number of nodes in the compute graph. This is a significant improvement over the works in the recent literature that propose formulations with $O(n^2)$ Boolean variables. We present numerical studies that show that our approach is up to an order of magnitude faster than recent work especially for large-scale graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI