SAfER: Layer-Level Sensitivity Assessment for Efficient and Robust Neural Network Inference

要約

ディープ ニューラル ネットワーク (DNN) は、ほとんどのコンピューター ビジョン タスクにわたって優れたパフォーマンスを発揮します。
自動運転や医療画像処理などの一部の重要なアプリケーションでは、その動作とその決定の背後にある理由を調査する必要もあります。
この意味で、DNN アトリビューションは、DNN の予測とその入力の間の関係を研究することにあります。
アトリビューション手法は、DNN 内で最も関連性の高い重みまたはニューロンを強調表示するように適応されており、どの重みまたはニューロンを枝刈りできるかをより効率的に選択できるようになりました。
ただし、これらのアプローチの制限は、通常、重みが各レイヤー内で個別に比較される一方で、一部のレイヤーが他のレイヤーよりも重要であるように見える可能性があることです。
この研究では、DNN 層の重要性を調査すること、つまり、DNN 層に対する精度の感度を推定することを提案します。
摂動はレイヤーレベルで適用されます。
そうするために、私たちは私たちの方法と将来の研究を評価するための新しいデータセットを提案します。
私たちは多くの基準をベンチマークし、DNN レイヤーの重要性を評価する方法と、その結果として DNN 効率 (DNN プルーニングと量子化のアプリケーションを使用) を向上させるためのレイヤーの予算編成方法、およびハードウェア障害 (ビット スワップなど) に対する堅牢性に関する結論を導き出します。
。

要約(オリジナル)

Deep neural networks (DNNs) demonstrate outstanding performance across most computer vision tasks. Some critical applications, such as autonomous driving or medical imaging, also require investigation into their behavior and the reasons behind the decisions they make. In this vein, DNN attribution consists in studying the relationship between the predictions of a DNN and its inputs. Attribution methods have been adapted to highlight the most relevant weights or neurons in a DNN, allowing to more efficiently select which weights or neurons can be pruned. However, a limitation of these approaches is that weights are typically compared within each layer separately, while some layers might appear as more critical than others. In this work, we propose to investigate DNN layer importance, i.e. to estimate the sensitivity of the accuracy w.r.t. perturbations applied at the layer level. To do so, we propose a novel dataset to evaluate our method as well as future works. We benchmark a number of criteria and draw conclusions regarding how to assess DNN layer importance and, consequently, how to budgetize layers for increased DNN efficiency (with applications for DNN pruning and quantization), as well as robustness to hardware failure (e.g. bit swaps).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google