Extremely Simple Activation Shaping for Out-of-Distribution Detection

要約

機械学習モデルのトレーニングと展開が分離されているということは、展開で遭遇するすべてのシナリオがトレーニング中に予測できるわけではないことを意味します。したがって、トレーニングの進歩だけに頼るのは限界があります。
分布外 (OOD) の検出は、目に見えない状況を処理するモデルの能力をストレス テストする重要な領域です。つまり、モデルは知らないときに知っているか?
既存の OOD 検出方法では、追加のトレーニング ステップや追加のデータが発生するか、トレーニング済みネットワークに重要な変更が加えられます。
対照的に、この作業では、非常に単純な事後的なオンザフライのアクティベーション シェーピング メソッド ASH を提案します。ASH では、後のレイヤーでのサンプルのアクティベーションの大部分 (90% など) が削除されます。
残り (例: 10%) を簡素化または軽く調整します。
シェーピングは推論時に適用され、トレーニング データから計算された統計は必要ありません。
実験によると、このような単純な処理により、分布内サンプルと分布外サンプルの区別が強化され、ImageNet で最先端の OOD 検出が可能になり、分布内の精度が著​​しく低下することはありません。
発見をさらに検証し、理解するための集合的な力を信じて、説明と検証のための2つの要求を論文と一緒にリリースします.
通話、ビデオ、およびコードは、https://andrijazz.github.io/ash にあります。

要約(オリジナル)

The separation between training and deployment of machine learning models implies that not all scenarios encountered in deployment can be anticipated during training, and therefore relying solely on advancements in training has its limits. Out-of-distribution (OOD) detection is an important area that stress-tests a model’s ability to handle unseen situations: Do models know when they don’t know? Existing OOD detection methods either incur extra training steps, additional data or make nontrivial modifications to the trained network. In contrast, in this work, we propose an extremely simple, post-hoc, on-the-fly activation shaping method, ASH, where a large portion (e.g. 90%) of a sample’s activation at a late layer is removed, and the rest (e.g. 10%) simplified or lightly adjusted. The shaping is applied at inference time, and does not require any statistics calculated from training data. Experiments show that such a simple treatment enhances in-distribution and out-of-distribution sample distinction so as to allow state-of-the-art OOD detection on ImageNet, and does not noticeably deteriorate the in-distribution accuracy. We release alongside the paper two calls for explanation and validation, believing the collective power to further validate and understand the discovery. Calls, video and code can be found at: https://andrijazz.github.io/ash

arxiv情報

提供元, 利用サービス

arxiv.jp, Google