Out-of-distribution detection algorithms for robust insect classification

要約

タイトル：頑健な昆虫分類のための外れ値検出アルゴリズム

要約：
– 深層学習に基づくアプローチは、優れた昆虫の分類精度を持つモデルを生み出しているが、制御環境下でのアプリケーションに適している。
– 研究者の主な強調点の一つは、実際の農業分野での識別と分類モデルの実装である。これは、画像入力が分布から外れている場合（たとえば、車両、動物、人間、またはトレーニングされていない昆虫または昆虫クラスのぼやけた画像など）があり、間違った昆虫の分類を引き起こす可能性があるため、課題である。
– 外れ値（OOD）検出アルゴリズムは、この課題を克服するための刺激的なアプローチを提供する。これは、モデルが非昆虫および/またはトレーニングされていない昆虫クラスの画像の誤った分類予測を避けることを保証するものである。
– 我々は、昆虫検出分類器上で最先端のOODアルゴリズムのパフォーマンスを生成し評価した。これらのアルゴリズムは、OOD問題を対処するための多様な方法を表している。
– 具体的には、外部的アルゴリズム（即ち、追加の共同トレーニングは必要としない、よくトレーニングされた分類器に取り付けられるアルゴリズム）に焦点を当て、3つのOOD検出アルゴリズムを比較した。
– これらのOODアルゴリズムの広範な評価を、以下の3つの性能軸を中心に実施した：(a)「ベースモデルの精度」：分類器の精度がOODパフォーマンスにどのように影響するか？(b)「ドメインとの相違の程度」：ドメインとの相違がOODパフォーマンスにどのように影響するか？(c)「データの不均衡」：クラスごとのサンプルサイズの不均衡がOODパフォーマンスにどのように影響するか？

要約(オリジナル)

Deep learning-based approaches have produced models with good insect classification accuracy; Most of these models are conducive for application in controlled environmental conditions. One of the primary emphasis of researchers is to implement identification and classification models in the real agriculture fields, which is challenging because input images that are wildly out of the distribution (e.g., images like vehicles, animals, humans, or a blurred image of an insect or insect class that is not yet trained on) can produce an incorrect insect classification. Out-of-distribution (OOD) detection algorithms provide an exciting avenue to overcome these challenge as it ensures that a model abstains from making incorrect classification prediction of non-insect and/or untrained insect class images. We generate and evaluate the performance of state-of-the-art OOD algorithms on insect detection classifiers. These algorithms represent a diversity of methods for addressing an OOD problem. Specifically, we focus on extrusive algorithms, i.e., algorithms that wrap around a well-trained classifier without the need for additional co-training. We compared three OOD detection algorithms: (i) Maximum Softmax Probability, which uses the softmax value as a confidence score, (ii) Mahalanobis distance-based algorithm, which uses a generative classification approach; and (iii) Energy-Based algorithm that maps the input data to a scalar value, called energy. We performed an extensive series of evaluations of these OOD algorithms across three performance axes: (a) \textit{Base model accuracy}: How does the accuracy of the classifier impact OOD performance? (b) How does the \textit{level of dissimilarity to the domain} impact OOD performance? and (c) \textit{Data imbalance}: How sensitive is OOD performance to the imbalance in per-class sample size?

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI