Master’s Thesis: Out-of-distribution Detection with Energy-based Models

要約

今日、深層学習は、自動運転や医療診断など、セキュリティが重要な状況でますます適用されています。
その成功にもかかわらず、ディープ ネットワークの動作と堅牢性はまだ完全には理解されておらず、重大なリスクをもたらしています。
特に、研究者は最近、ニューラル ネットワークが、これまでに見たことのないデータであっても、予測に過度の自信を持っていることを発見しました。
この問題に取り組むために、文献で 2 つのアプローチを区別することができます。
1 つは予測の不確実性を考慮し、2 番目はトレーニング データの基本的な密度を推定して、与えられた入力がトレーニング データに近いかどうかを判断し、ネットワークが期待どおりに機能するかどうかを判断します。この論文では、
分布外 (OOD) 入力の検出を実行するためにトレーニング データ分布を適合させるタスクでの EBM の機能。
ほとんどのデータセットでは、EBM は、その柔軟性にもかかわらず、OOD データの検出において他の密度推定器より本質的に優れているわけではないことがわかります。
したがって、EBM のパフォーマンスに対する監視、次元削減、およびアーキテクチャの変更の影響をさらに調査します。
さらに、分類のために EBM 内のさまざまな不確実性の推定を可能にする Energy-Prior Network (EPN) を提案し、OOD 検出問題に取り組むための 2 つのアプローチ間のギャップを埋めます。
ディリクレ分布の濃度パラメータと EBM の結合エネルギーとの関係を特定します。
さらに、これにより、一部のアプリケーションでは利用できない、または収集するのに費用がかかる可能性のある、ホールドアウトされた OOD データセットなしで最適化できます。
最後に、Energy-Prior Network (EPN) が OOD 入力、データセットのシフト、および敵対的な例を検出できることを経験的に示します。
理論的には、EPN は、入力がトレーニング データから遠く離れている漸近的なケースに適した特性を提供します。

要約(オリジナル)

Today, deep learning is increasingly applied in security-critical situations such as autonomous driving and medical diagnosis. Despite its success, the behavior and robustness of deep networks are not fully understood yet, posing a significant risk. In particular, researchers recently found that neural networks are overly confident in their predictions, even on data they have never seen before. To tackle this issue, one can differentiate two approaches in the literature. One accounts for uncertainty in the predictions, while the second estimates the underlying density of the training data to decide whether a given input is close to the training data, and thus the network is able to perform as expected.In this thesis, we investigate the capabilities of EBMs at the task of fitting the training data distribution to perform detection of out-of-distribution (OOD) inputs. We find that on most datasets, EBMs do not inherently outperform other density estimators at detecting OOD data despite their flexibility. Thus, we additionally investigate the effects of supervision, dimensionality reduction, and architectural modifications on the performance of EBMs. Further, we propose Energy-Prior Network (EPN) which enables estimation of various uncertainties within an EBM for classification, bridging the gap between two approaches for tackling the OOD detection problem. We identify a connection between the concentration parameters of the Dirichlet distribution and the joint energy in an EBM. Additionally, this allows optimization without a held-out OOD dataset, which might not be available or costly to collect in some applications. Finally, we empirically demonstrate that Energy-Prior Network (EPN) is able to detect OOD inputs, datasets shifts, and adversarial examples. Theoretically, EPN offers favorable properties for the asymptotic case when inputs are far from the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google