MutateNN: Mutation Testing of Image Recognition Models Deployed on Hardware Accelerators

要約

近年、人工知能の研究が進み、実世界の問題を軽減し、技術的に進歩する新たな機会が生まれています。特に画像認識モデルは、現実世界の複雑な課題を軽減し、新たな解決策を導くために、認識タスクを課せられています。さらに、このようなモデルの計算の複雑さやリソースへの要求も高まっています。これを緩和するために、モデルの最適化やハードウェアアクセラレーションが登場しましたが、このようなコンセプトを効果的に統合することは、困難でエラーが発生しやすいプロセスです。 開発者や研究者が、異なるハードウェアアクセラレーションデバイスに展開された深層学習画像認識モデルの堅牢性を調査できるようにするため、そのための変異テストと分析機能を提供するツール、MutateNNを提案します。その機能を紹介するために、広く知られている7つの事前学習済みディープニューラルネットワークモデルに対して21の変異を利用しました。計算能力の異なる4つのデバイスに変異体を配置したところ、条件演算に関連する変異体の不一致や、算術型に関連する変異体の不安定な挙動が確認されました。

要約(オリジナル)

With the research advancement of Artificial Intelligence in the last years, there are new opportunities to mitigate real-world problems and advance technologically. Image recognition models in particular, are assigned with perception tasks to mitigate complex real-world challenges and lead to new solutions. Furthermore, the computational complexity and demand for resources of such models has also increased. To mitigate this, model optimization and hardware acceleration has come into play, but effectively integrating such concepts is a challenging and error-prone process. In order to allow developers and researchers to explore the robustness of deep learning image recognition models deployed on different hardware acceleration devices, we propose MutateNN, a tool that provides mutation testing and analysis capabilities for that purpose. To showcase its capabilities, we utilized 21 mutations for 7 widely-known pre-trained deep neural network models. We deployed our mutants on 4 different devices of varying computational capabilities and observed discrepancies in mutants related to conditional operations, as well as some unstable behaviour with those related to arithmetic types.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL