DIPPM: a Deep Learning Inference Performance Predictive Model using Graph Neural Networks

要約

ディープ ラーニング (DL) は、私たちが現在依存している多くの日常的なアプリケーションの基礎になるように開発されました。
ただし、DL モデルが基礎となるハードウェアを効率的に使用するようにするには、多くの労力が必要です。
推論特性に関する知識は、モデルに十分なリソースが与えられるように適切な一致を見つけるのに役立ちますが、多すぎないようにすることができます。
NVIDIA A100 GPU 上の特定の入力 DL モデルの推論レイテンシ、エネルギー、およびメモリ使用量を予測する DL 推論パフォーマンス予測モデル (DIPPM) を開発しました。
また、DIPPM の出力から適切な A100 マルチインスタンス GPU プロファイルを提案するアルゴリズムを考案しました。
複数のフレームワークで表現された DL モデルを、DIPPM で使用される一般化されたグラフ構造に変換する方法論を開発しました。
これは、DIPPM がさまざまなフレームワークからの入力 DL モデルを解析できることを意味します。
当社の DIPPM は、適切なハードウェア構成を見つけるのに役立つだけでなく、モデルの推論パフォーマンスのために設計空間を迅速に探索するのにも役立ちます。
DIPPM のパフォーマンスをトレーニングおよび評価するために、10,508 の異なる DL モデルで構成されるグラフ多重回帰データセットを構築し、その結果、1.9% という低い平均絶対パーセント誤差 (MAPE) に達しました。

要約(オリジナル)

Deep Learning (DL) has developed to become a corner-stone in many everyday applications that we are now relying on. However, making sure that the DL model uses the underlying hardware efficiently takes a lot of effort. Knowledge about inference characteristics can help to find the right match so that enough resources are given to the model, but not too much. We have developed a DL Inference Performance Predictive Model (DIPPM) that predicts the inference latency, energy, and memory usage of a given input DL model on the NVIDIA A100 GPU. We also devised an algorithm to suggest the appropriate A100 Multi-Instance GPU profile from the output of DIPPM. We developed a methodology to convert DL models expressed in multiple frameworks to a generalized graph structure that is used in DIPPM. It means DIPPM can parse input DL models from various frameworks. Our DIPPM can be used not only helps to find suitable hardware configurations but also helps to perform rapid design-space exploration for the inference performance of a model. We constructed a graph multi-regression dataset consisting of 10,508 different DL models to train and evaluate the performance of DIPPM, and reached a resulting Mean Absolute Percentage Error (MAPE) as low as 1.9%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google