Deep Visual-Genetic Biometrics for Taxonomic Classification of Rare Species

要約

タイトル：Deep Visual-Genetic Biometrics for Taxonomic Classification of Rare Species

要約：
– 生物のアプリケーションにおいて、種や個体を識別するために視覚および遺伝学的バイオメトリクスが広く使用されている。
– しかし、少ない画像データしか持たない稀少なクラスの視覚分類を遺伝学的に計算的に強化する試みはこの領域では行われていなかった。
– 本論文では、視覚遺伝子推論空間を提案し、クロスドメインの関連を暗黙的にエンコードすることで、モデルのパフォーマンスを向上させることを目指す。
– このようなアライメントを深い埋め込みモデルを通じて実現できることを初めて示し、それが稀少な種の長尾認識（LTR）を促進するために直接適用できることを実証する。
– マイクロスコープ像を用いて、32種類のプランクトン性有孔虫の30k以上の殻を対象に、独立した遺伝情報のサンプルとともに、このコンセプトの有効性を実験的に示す。
– プラクティショナーにとって最も重要なのは、視覚利用の稀少種の識別において、視覚遺伝子のアライメントが有意に有利になることを示すことである。
– 技術的には、トリプレット損失関数を用いて視覚ResNet50ディープラーニングモデルを事前学習して初期の埋め込み空間を作成し、SGTを用いて埋め込まれた遺伝子アンカーを基にこの空間を再構築し、クロスドメインコサインアライメントによって視覚データとリンクする。
– LTRアプローチがすべてのベンチマークで最新技術を改善することを示し、視覚遺伝子アライメントの追加により、クラス別および特に希少種のベンチマークをさらに有意に改善することを示す。
– 視覚生物学データに含まれる希少なクラスを補完するために視覚遺伝子アライメントが強力なツールになることが示され、提案されたコンセプトは、遺伝子とイメージオミクスを統合して分類空間と生命自体のより完全な科学的表現を実現するための重要な将来のツールとなる可能性がある。コード、重み、およびデータ分割は完全な再現性のために公開されている。

要約(オリジナル)

Visual as well as genetic biometrics are routinely employed to identify species and individuals in biological applications. However, no attempts have been made in this domain to computationally enhance visual classification of rare classes with little image data via genetics. In this paper, we thus propose aligned visual-genetic inference spaces with the aim to implicitly encode cross-domain associations for improved performance. We demonstrate for the first time that such alignment can be achieved via deep embedding models and that the approach is directly applicable to boosting long-tailed recognition (LTR) particularly for rare species. We experimentally demonstrate the efficacy of the concept via application to microscopic imagery of 30k+ planktic foraminifer shells across 32 species when used together with independent genetic data samples. Most importantly for practitioners, we show that visual-genetic alignment can significantly benefit visual-only recognition of the rarest species. Technically, we pre-train a visual ResNet50 deep learning model using triplet loss formulations to create an initial embedding space. We re-structure this space based on genetic anchors embedded via a Sequence Graph Transform (SGT) and linked to visual data by cross-domain cosine alignment. We show that an LTR approach improves the state-of-the-art across all benchmarks and that adding our visual-genetic alignment improves per-class and particularly rare tail class benchmarks significantly further. We conclude that visual-genetic alignment can be a highly effective tool for complementing visual biological data containing rare classes. The concept proposed may serve as an important future tool for integrating genetics and imageomics towards a more complete scientific representation of taxonomic spaces and life itself. Code, weights, and data splits are published for full reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI