Deep Visual-Genetic Biometrics for Taxonomic Classification of Rare Species

要約

視覚的バイオメトリクスと遺伝的バイオメトリクスは、生物学的応用において種と個人を識別するために日常的に使用されています。
しかし、この分野では、遺伝学を介して画像データがほとんどない希少なクラスの視覚的分類をコンピュータで強化する試みは行われていません。
したがって、この論文では、パフォーマンスを向上させるためにクロスドメインの関連性を暗黙的にエンコードすることを目的として、調整された視覚遺伝推論空間を提案します。
我々は、このような位置合わせが深い埋め込みモデルによって達成できること、そしてこのアプローチが特に希少種のロングテール認識（LTR）の向上に直接適用できることを初めて実証した。
私たちは、独立した遺伝子データサンプルと併用した場合、32 種にわたる 30,000 以上の浮遊有孔虫の殻の顕微鏡画像に適用することにより、この概念の有効性を実験的に実証します。
専門家にとって最も重要なことは、視覚と遺伝子の配列が最も希少な種の視覚のみによる認識に大きな利益をもたらす可能性があることを示したことです。
技術的には、三重項損失定式化を使用してビジュアルな ResNet50 深層学習モデルを事前トレーニングし、初期埋め込み空間を作成します。
Sequence Graph Transform (SGT) を介して埋め込まれ、クロスドメイン コサイン アラインメントによって視覚データにリンクされた遺伝的アンカーに基づいてこの空間を再構築します。
私たちは、LTR アプローチがすべてのベンチマーク全体で最先端のベンチマークを改善し、視覚的遺伝的アライメントを追加することでクラスごと、特にレアテールクラスのベンチマークがさらに大幅に改善されることを示します。
私たちは、視覚と遺伝のアラインメントは、希少なクラスを含む視覚的な生物学的データを補完するための非常に効果的なツールとなり得ると結論付けています。
提案された概念は、分類学的空間と生命そのもののより完全な科学的表現に向けて遺伝学とイメージオミクスを統合するための将来の重要なツールとして役立つ可能性があります。
コード、重み、およびデータ分割は、完全な再現性を実現するために公開されています。

要約(オリジナル)

Visual as well as genetic biometrics are routinely employed to identify species and individuals in biological applications. However, no attempts have been made in this domain to computationally enhance visual classification of rare classes with little image data via genetics. In this paper, we thus propose aligned visual-genetic inference spaces with the aim to implicitly encode cross-domain associations for improved performance. We demonstrate for the first time that such alignment can be achieved via deep embedding models and that the approach is directly applicable to boosting long-tailed recognition (LTR) particularly for rare species. We experimentally demonstrate the efficacy of the concept via application to microscopic imagery of 30k+ planktic foraminifer shells across 32 species when used together with independent genetic data samples. Most importantly for practitioners, we show that visual-genetic alignment can significantly benefit visual-only recognition of the rarest species. Technically, we pre-train a visual ResNet50 deep learning model using triplet loss formulations to create an initial embedding space. We re-structure this space based on genetic anchors embedded via a Sequence Graph Transform (SGT) and linked to visual data by cross-domain cosine alignment. We show that an LTR approach improves the state-of-the-art across all benchmarks and that adding our visual-genetic alignment improves per-class and particularly rare tail class benchmarks significantly further. We conclude that visual-genetic alignment can be a highly effective tool for complementing visual biological data containing rare classes. The concept proposed may serve as an important future tool for integrating genetics and imageomics towards a more complete scientific representation of taxonomic spaces and life itself. Code, weights, and data splits are published for full reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google