Approaching Test Time Augmentation in the Context of Uncertainty Calibration for Deep Neural Networks

要約

【タイトル】 深層ニューラルネットワークの不確実性キャリブレーションの文脈でのテストタイムオーグメンテーションのアプローチ

【要約】
– 深層ニューラルネットワークの普及に伴い、信頼性の高いモデルが必要となっている。
– モデルの正確性だけでなく、予測の不確実性にも注目する必要がある。
– 新しいテストタイムオーグメンテーションに基づく新しい技術を提案する(M-ATTAとV-ATTA)
– 他の手法とは異なり、M/V-ATTAは適応型重み付きシステムを利用して、モデルの正確性に影響を与えることなく不確実性キャリブレーションを改善する。
– CIFAR-10、CIFAR-100、Aerial Image Datasetの結果から、M/V-ATTAはベンチマークと比べて優れたキャリブレーション技術を提供することが示された。
– M/V-ATTAのコードは以下のGithubリポジトリで提供されている：https://github.com/pedrormconde/MV-ATTA。

要約(オリジナル)

With the rise of Deep Neural Networks, machine learning systems are nowadays ubiquitous in a number of real-world applications, which bears the need for highly reliable models. This requires a thorough look not only at the accuracy of such systems, but also to their predictive uncertainty. Hence, we propose a novel technique (with two different variations, named M-ATTA and V-ATTA) based on test time augmentation, to improve the uncertainty calibration of deep models for image classification. Unlike other test time augmentation approaches, M/V-ATTA improves uncertainty calibration without affecting the model’s accuracy, by leveraging an adaptive weighting system. We evaluate the performance of the technique with respect to different metrics of uncertainty calibration. Empirical results, obtained on CIFAR-10, CIFAR-100, as well as on the benchmark Aerial Image Dataset, indicate that the proposed approach outperforms state-of-the-art calibration techniques, while maintaining the baseline classification performance. Code for M/V-ATTA available at: https://github.com/pedrormconde/MV-ATTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI