DeltaNN: Assessing the Impact of Computational Environment Parameters on the Performance of Image Recognition Models

要約

画像認識タスクは通常、ディープラーニングを使用し、膨大な処理能力を必要とするため、高速かつタイムリーな処理のために GPU や TPU などのハードウェア アクセラレータに依存します。
モデル展開中のハードウェア アクセラレータでのマッピングが最適ではないために、リアルタイムの画像認識タスクで障害が発生する可能性があり、タイミングの不確実性や誤った動作につながる可能性があります。
ハードウェア アクセラレータでのマッピングは、ディープ ラーニング フレームワーク、コンパイラ、デバイス ライブラリなどの複数のソフトウェア コンポーネントを使用して実行されます。これらをコンピューティング環境と呼びます。
自動運転や医療画像処理などの安全性が重要なアプリケーションでの画像認識タスクの使用が増加しているため、深層学習フレームワーク、コンパイラーの最適化、ハードウェアなどのパラメーターの影響など、コンピューター環境の変化に対する画像認識タスクの堅牢性を評価することが不可欠です。
モデルのパフォーマンスと正確性に関するデバイスはまだ十分に理解されていません。
この論文では、デプロイ時やトレーニング後の画像認識モデルのパフォーマンスに対するさまざまな計算環境パラメーターの影響を評価できる差分テスト フレームワーク DeltaNN を紹介します。
DeltaNN は、環境パラメーター、つまり深層学習フレームワーク、コンパイラーの最適化、ハードウェア デバイスの変化に応じて、特定の画像認識モデルのさまざまな実装を生成し、結果として生じるモデルのパフォーマンスの違いを分析します。
DeltaNN を使用して、ImageNet データセットを使用した 3 つの一般的な画像認識モデルの堅牢性分析の実証研究を実施します。
さまざまな設定における誤分類と推論時間の違いに関する影響を報告します。
合計すると、コンパイラの最適化を適用すると、ディープ ラーニング フレームワーク間で最大 72% の出力ラベルの違いが発生し、推論時間に関して最大​​ 81% の予期せぬパフォーマンス低下が観察されました。

要約(オリジナル)

Image recognition tasks typically use deep learning and require enormous processing power, thus relying on hardware accelerators like GPUs and TPUs for fast, timely processing. Failure in real-time image recognition tasks can occur due to sub-optimal mapping on hardware accelerators during model deployment, which may lead to timing uncertainty and erroneous behavior. Mapping on hardware accelerators is done using multiple software components like deep learning frameworks, compilers, and device libraries, that we refer to as the computational environment. Owing to the increased use of image recognition tasks in safety-critical applications like autonomous driving and medical imaging, it is imperative to assess their robustness to changes in the computational environment, as the impact of parameters like deep learning frameworks, compiler optimizations, and hardware devices on model performance and correctness is not yet well understood. In this paper we present a differential testing framework, DeltaNN, that allows us to assess the impact of different computational environment parameters on the performance of image recognition models during deployment, post training. DeltaNN generates different implementations of a given image recognition model for variations in environment parameters, namely, deep learning frameworks, compiler optimizations and hardware devices and analyzes differences in model performance as a result. Using DeltaNN, we conduct an empirical study of robustness analysis of three popular image recognition models using the ImageNet dataset. We report the impact in terms of misclassifications and inference time differences across different settings. In total, we observed up to 72% output label differences across deep learning frameworks, and up to 81% unexpected performance degradation in terms of inference time, when applying compiler optimizations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google