DARTSRepair: Core-failure-set Guided DARTS for Network Robustness to Common Corruptions

要約

ネットワーク アーキテクチャ検索 (NAS)、特に微分可能アーキテクチャ検索 (DARTS) メソッドは、関心のある特定のデータセットで優れたモデル アーキテクチャを学習する大きな力を示しています。
固定データセットを使用するのとは対照的に、この作業では、NAS の異なるが重要なシナリオに焦点を当てます。展開されたネットワークのモデル アーキテクチャを改良して、そのロバスト性を強化する方法です。
特定のパターン (ノイズ、ぼかしなど) を持つ実世界の未知の破損。
この目的のために、まず実証研究を実施して、モデル アーキテクチャが確実に破損パターンに関連していることを検証します。
驚くべきことに、クリーンなトレーニング データセット (例: $5.0 \times 10^4$ の例) にいくつかの破損した誤分類された例 (例: $10^3$ の例) を追加するだけで、モデル アーキテクチャを改良し、ロバスト性を大幅に向上させることができます。
より実用的なものにするために、重要な問題、つまり効果的な NAS ガイダンスのために適切な失敗例をどのように選択するかを慎重に調査する必要があります。
次に、モデルアーキテクチャを改良するために適切な破損した障害例を選択するために、DARTS に K-center-greedy アルゴリズムを埋め込む新しいコア障害セットガイド付き DARTS を提案します。
私たちは、DARTS で改良された DNN をクリーンな状態で使用するだけでなく、実際の 4 つの特定の破損のガイダンスを使用して 15 の破損に対してもこの方法を使用します。
最先端の NAS やデータ拡張ベースの拡張方法と比較して、最終的な方法は、破損したデータセットと元のクリーンなデータセットの両方でより高い精度を達成できます。
一部の破損パターンでは、45% を超える絶対精度の向上を達成できます。

要約(オリジナル)

Network architecture search (NAS), in particular the differentiable architecture search (DARTS) method, has shown a great power to learn excellent model architectures on the specific dataset of interest. In contrast to using a fixed dataset, in this work, we focus on a different but important scenario for NAS: how to refine a deployed network’s model architecture to enhance its robustness with the guidance of a few collected and misclassified examples that are degraded by some real-world unknown corruptions having a specific pattern (e.g., noise, blur, etc.). To this end, we first conduct an empirical study to validate that the model architectures can be definitely related to the corruption patterns. Surprisingly, by just adding a few corrupted and misclassified examples (e.g., $10^3$ examples) to the clean training dataset (e.g., $5.0 \times 10^4$ examples), we can refine the model architecture and enhance the robustness significantly. To make it more practical, the key problem, i.e., how to select the proper failure examples for the effective NAS guidance, should be carefully investigated. Then, we propose a novel core-failure-set guided DARTS that embeds a K-center-greedy algorithm for DARTS to select suitable corrupted failure examples to refine the model architecture. We use our method for DARTS-refined DNNs on the clean as well as 15 corruptions with the guidance of four specific real-world corruptions. Compared with the state-of-the-art NAS as well as data-augmentation-based enhancement methods, our final method can achieve higher accuracy on both corrupted datasets and the original clean dataset. On some of the corruption patterns, we can achieve as high as over 45% absolute accuracy improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google