Fault Localization for Buggy Deep Learning Framework Conversions in Image Recognition

要約

ディープ ニューラル ネットワーク (DNN) をデプロイする場合、開発者は多くの場合、あるディープ ラーニング フレームワークから別のフレームワークにモデルを変換します (例: TensorFlow から PyTorch)。
ただし、このプロセスはエラーが発生しやすく、ターゲット モデルの精度に影響を与える可能性があります。
このような影響の範囲を特定するために、画像認識に広く使用されている 3 つの DNN (MobileNetV2、ResNet101、および InceptionV3) に対して差分分析を実行し、4 つのよく知られた深層学習フレームワーク (PyTorch、Keras、TensorFlow (TF) 間で変換) に対して簡単に提示します。
、TFLite)、多数のモデルのクラッシュと最大 72% の出力ラベルの不一致が明らかになりました。
このようなエラーを軽減するために、事前トレーニングされた画像認識モデルに焦点を当て、バグのある深層学習フレームワーク変換の障害位置特定と修復に対する新しいアプローチを紹介します。
私たちの手法は、1) 変換ツール、2) モデル パラメーター、3) モデル ハイパーパラメーター、4) グラフ表現の 4 つの分析段階で構成されます。
さらに、検出された障害の障害修復に向けたさまざまな戦略を提案します。
私たちはこの手法を Apache TVM 深層学習コンパイラー上に実装し、InceptionV3 を TF から TFLite に変換するための予備的な障害位置特定分析を実行してテストします。
私たちのアプローチでは、一般的な DNN コンバーター ツールに障害が検出され、重みに精度誤差が生じ、モデルの精度が低下しました。
障害の位置を特定した後、問題を修復し、変換エラーをゼロに減らしました。

要約(オリジナル)

When deploying Deep Neural Networks (DNNs), developers often convert models from one deep learning framework to another (e.g., TensorFlow to PyTorch). However, this process is error-prone and can impact target model accuracy. To identify the extent of such impact, we perform and briefly present a differential analysis against three DNNs widely used for image recognition (MobileNetV2, ResNet101, and InceptionV3) converted across four well-known deep learning frameworks (PyTorch, Keras, TensorFlow (TF), and TFLite), which revealed numerous model crashes and output label discrepancies of up to 72%. To mitigate such errors, we present a novel approach towards fault localization and repair of buggy deep learning framework conversions, focusing on pre-trained image recognition models. Our technique consists of four stages of analysis: 1) conversion tools, 2) model parameters, 3) model hyperparameters, and 4) graph representation. In addition, we propose various strategies towards fault repair of the faults detected. We implement our technique on top of the Apache TVM deep learning compiler, and we test it by conducting a preliminary fault localization analysis for the conversion of InceptionV3 from TF to TFLite. Our approach detected a fault in a common DNN converter tool, which introduced precision errors in weights, reducing model accuracy. After our fault localization, we repaired the issue, reducing our conversion error to zero.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google