MutateNN: Mutation Testing of Image Recognition Models Deployed on Hardware Accelerators

要約

ここ数年の人工知能の研究の進歩により、現実世界の問題を軽減し、技術的に進歩する新たな機会が生まれています。
特に画像認識モデルには、現実世界の複雑な課題を軽減し、新しい解決策を導くための認識タスクが割り当てられます。
さらに、そのようなモデルの計算の複雑さとリソースの需要も増加しています。
これを軽減するために、モデルの最適化とハードウェア アクセラレーションが活用されていますが、このような概念を効果的に統合することは困難で、エラーが発生しやすいプロセスです。
開発者や研究者がさまざまなハードウェア アクセラレーション デバイスにデプロイされた深層学習画像認識モデルの堅牢性を調査できるようにするために、その目的のための突然変異テストと分析機能を提供するツールである MutateNN を提案します。
その機能を示すために、広く知られている 7 つの事前トレーニング済みディープ ニューラル ネットワーク モデルに対して 21 の突然変異を利用しました。
私たちは、さまざまな計算能力を持つ 4 つの異なるデバイスにミュータントをデプロイし、条件付き演算に関連するミュータントの不一致や、算術型に関連するミュータントの不安定な動作を観察しました。

要約(オリジナル)

With the research advancement of Artificial Intelligence in the last years, there are new opportunities to mitigate real-world problems and advance technologically. Image recognition models in particular, are assigned with perception tasks to mitigate complex real-world challenges and lead to new solutions. Furthermore, the computational complexity and demand for resources of such models has also increased. To mitigate this, model optimization and hardware acceleration has come into play, but effectively integrating such concepts is a challenging and error-prone process. In order to allow developers and researchers to explore the robustness of deep learning image recognition models deployed on different hardware acceleration devices, we propose MutateNN, a tool that provides mutation testing and analysis capabilities for that purpose. To showcase its capabilities, we utilized 21 mutations for 7 widely-known pre-trained deep neural network models. We deployed our mutants on 4 different devices of varying computational capabilities and observed discrepancies in mutants related to conditional operations, as well as some unstable behaviour with those related to arithmetic types.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google