Classification of freshwater snails of the genus \emph{Radomaniola} with multimodal triplet networks

要約

この論文では、\emph{Radomaniola} 属の淡水巻貝を分類するための機械学習システムの最初の提案を紹介します。
システム設計中に遭遇した具体的な課題と、それらにどのように取り組んだかについて詳しく説明します。
つまり、クラス数が多く、クラス間の視覚的な類似性が高い、小さくて非常に不均衡なデータセットです。
次に、トリプレット ネットワークと、画像、測定値、遺伝情報の複数の入力モダリティを採用して、これらの課題を克服し、訓練を受けた領域専門家と同等のパフォーマンスを達成する方法を示します。

要約(オリジナル)

In this paper, we present our first proposal of a machine learning system for the classification of freshwater snails of the genus \emph{Radomaniola}. We elaborate on the specific challenges encountered during system design, and how we tackled them; namely a small, very imbalanced dataset with a high number of classes and high visual similarity between classes. We then show how we employed triplet networks and the multiple input modalities of images, measurements, and genetic information to overcome these challenges and reach a performance comparable to that of a trained domain expert.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google