Exploring Effects of Computational Parameter Changes to Image Recognition Systems

要約

画像認識タスクは通常、ディープ ラーニングを使用し、膨大な処理能力を必要とするため、GPU や FPGA などのハードウェア アクセラレータを使用して高速でタイムリーな処理を行います。
ハードウェア アクセラレータのマッピングが正しくないことが原因で、リアルタイムの画像認識タスクが失敗する可能性があり、タイミングの不確実性や不適切な動作につながる可能性があります。
自動運転や医療画像などの安全性が重要なアプリケーションでの画像認識タスクの使用が増加しているため、ディープラーニング フレームワーク、コード生成のためのコンパイラの最適化、ハードウェア デバイスなどのパラメーターとして、計算環境の変化に対する堅牢性を評価することが不可欠です。
モデルのパフォーマンスと正確性にさまざまな影響を与える規制はありません。
このホワイト ペーパーでは、ImageNet データセットを使用して 4 つの一般的な画像認識モデル (MobileNetV2、ResNet101V2、DenseNet121、および InceptionV3) のロバスト性分析を行い、モデルの計算環境における次のパラメーターの影響を評価します。
(2) コンパイラーの最適化。
(3) ハードウェア デバイス。
これらの各環境パラメーターの変化に対する出力ラベルと推論時間の観点から、モデルパフォーマンスの感度を報告します。
4 つのモデルすべての出力ラベル予測は、深層学習フレームワークの選択に敏感であり (最大 57%)、他のパラメーターには敏感ではないことがわかりました。
一方、モデルの推論時間はすべての環境パラメーターの影響を受け、ハードウェア デバイスの変更が最も影響を及ぼしました。
効果の程度は、モデル間で均一ではありませんでした。

要約(オリジナル)

Image recognition tasks typically use deep learning and require enormous processing power, thus relying on hardware accelerators like GPUs and FPGAs for fast, timely processing. Failure in real-time image recognition tasks can occur due to incorrect mapping on hardware accelerators, which may lead to timing uncertainty and incorrect behavior. Owing to the increased use of image recognition tasks in safety-critical applications like autonomous driving and medical imaging, it is imperative to assess their robustness to changes in the computational environment as parameters like deep learning frameworks, compiler optimizations for code generation, and hardware devices are not regulated with varying impact on model performance and correctness. In this paper we conduct robustness analysis of four popular image recognition models (MobileNetV2, ResNet101V2, DenseNet121 and InceptionV3) with the ImageNet dataset, assessing the impact of the following parameters in the model’s computational environment: (1) deep learning frameworks; (2) compiler optimizations; and (3) hardware devices. We report sensitivity of model performance in terms of output label and inference time for changes in each of these environment parameters. We find that output label predictions for all four models are sensitive to choice of deep learning framework (by up to 57%) and insensitive to other parameters. On the other hand, model inference time was affected by all environment parameters with changes in hardware device having the most effect. The extent of effect was not uniform across models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google