Efficient Curation of Invertebrate Image Datasets Using Feature Embeddings and Automatic Size Comparison

要約

コンピュータビジョンを利用した手法への関心が高まるにつれて、環境モニタリングの目的で収集される画像データセットの量がここ数年で増加しています。
コンピューター ビジョン アプリケーションは高品質のデータセットに依存しているため、データのキュレーションが重要になります。
ただし、データのキュレーションはその場限りで行われることが多く、使用される手法が公開されることはほとんどありません。
我々は、同じ分類群および/または標本の複数の画像を含み、画像内の背景が比較的均一である無脊椎動物の大規模画像データセットをキュレーションする方法を提案します。
私たちのアプローチは、事前学習済みのディープ ニューラル ネットワークを使用して特徴のエンベディングを抽出し、これらのエンベディングを使用して、エンベディングをグループ プロトタイプのエンベディングと比較することで、視覚的に最も明確な画像を見つけることに基づいています。
また、単純な領域ベースのサイズ比較アプローチにより、切り離された身体部分や誤って分類されたサンプルを含む画像など、多くの一般的な誤った画像を検出できることも示します。
この方法に加えて、人間参加型の外れ値検出方法を評価するための新しい指標の使用を提案します。
提案されたキュレーション方法の実装と、注釈付きの誤った画像を含むベンチマーク データセットは、https://github.com/mikkoim/taxonomist-studio で公開されています。

要約(オリジナル)

The amount of image datasets collected for environmental monitoring purposes has increased in the past years as computer vision assisted methods have gained interest. Computer vision applications rely on high-quality datasets, making data curation important. However, data curation is often done ad-hoc and the methods used are rarely published. We present a method for curating large-scale image datasets of invertebrates that contain multiple images of the same taxa and/or specimens and have relatively uniform background in the images. Our approach is based on extracting feature embeddings with pretrained deep neural networks, and using these embeddings to find visually most distinct images by comparing their embeddings to the group prototype embedding. Also, we show that a simple area-based size comparison approach is able to find a lot of common erroneous images, such as images containing detached body parts and misclassified samples. In addition to the method, we propose using novel metrics for evaluating human-in-the-loop outlier detection methods. The implementations of the proposed curation methods, as well as a benchmark dataset containing annotated erroneous images, are publicly available in https://github.com/mikkoim/taxonomist-studio.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google