Extremely Simple Activation Shaping for Out-of-Distribution Detection

要約

タイトル：アウト・オブ・ディストリビューション・ディテクションのための極めてシンプルなアクティベーション形状変換

要約：
– 機械学習モデルのトレーニングとデプロイメントの分離により、トレーニング中に予測できない状況も発生するため、トレーニングに頼ることは限界がある。
– アウト・オブ・ディストリビューション（OOD）ディテクションは、モデルが見たことのない状況を処理する能力をストレステストする重要な分野である。
– 既存のOODディテクション方法は、追加のトレーニングステップ、追加のデータ、またはトレーニングされたネットワークの非自明な修正を必要とする。
– 一方、本研究では、トレーニングデータから計算された統計データを必要としない、非常にシンプルでリアルタイムのアクティベーション形状変換（ASH）メソッドを提案する。
– ASHは、推論時に適用され、遅い層のサンプルの大部分（例えば90％）のアクティベーションが削除され、残り（例えば10％）が単純化または軽微に調整される。
– 実験結果は、ASHが簡単な処理でありながら、ImageNetで最先端のOODディテクションを可能にし、非常に効果的であり、インディストリビューションの精度に重大な劣化をもたらさないことを示している。
– ビデオ、アニメーション、コードは以下から見つけることができる：https://andrijazz.github.io/ash

要約(オリジナル)

The separation between training and deployment of machine learning models implies that not all scenarios encountered in deployment can be anticipated during training, and therefore relying solely on advancements in training has its limits. Out-of-distribution (OOD) detection is an important area that stress-tests a model’s ability to handle unseen situations: Do models know when they don’t know? Existing OOD detection methods either incur extra training steps, additional data or make nontrivial modifications to the trained network. In contrast, in this work, we propose an extremely simple, post-hoc, on-the-fly activation shaping method, ASH, where a large portion (e.g. 90%) of a sample’s activation at a late layer is removed, and the rest (e.g. 10%) simplified or lightly adjusted. The shaping is applied at inference time, and does not require any statistics calculated from training data. Experiments show that such a simple treatment enhances in-distribution and out-of-distribution distinction so as to allow state-of-the-art OOD detection on ImageNet, and does not noticeably deteriorate the in-distribution accuracy. Video, animation and code can be found at: https://andrijazz.github.io/ash

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI