Unsupervised Deep Learning-based Keypoint Localization Estimating Descriptor Matching Performance

要約

網膜画像のレジストレーション、特にカラー眼底画像のレジストレーションは、様々な臨床応用が可能な、困難でありながら不可欠なタスクである。カラー眼底画像に対する既存のレジストレーション手法は、一般的に、位置合わせのためにキーポイントと記述子に依存している。しかし、重大な限界は、ラベル付けされたデータに依存していることであり、ラベル付けされたデータは医療領域では特に少ない。 この研究では、ラベル付けされたデータの必要性を完全に排除する、新しい教師なしレジストレーションパイプラインを提示する。我々のアプローチは、特徴的な記述子を持つ位置が信頼できるキーポイントを構成するという原理に基づいている。これは、従来の最先端のアプローチを完全に逆転させるものであり、検出器を記述子に条件付けるのではなく、むしろその逆を行う。 まず、キーポイント検出やラベルなしで動作する革新的な記述子学習法を提案し、網膜画像中の任意の位置の記述子を生成する。次に、入力画像から直接記述子の性能を推定することにより動作する、新しいラベルフリーのキーポイント検出ネットワークを導入する。 4つのホールドアウトデータセットを用いた包括的な評価により、我々の手法を検証し、我々の教師なし記述子が最新の教師あり記述子を凌駕すること、また、我々の教師なし検出器が既存の教師なし検出手法を大幅に凌駕することを実証する。最後に、我々の完全なレジストレーションパイプラインは、ラベル付きデータを使用しない一方で、主要な教師あり手法に匹敵する性能を達成した。さらに、我々の手法のラベルフリーの性質と設計は、他のドメインやモダリティへの直接適応を可能にする。

要約(オリジナル)

Retinal image registration, particularly for color fundus images, is a challenging yet essential task with diverse clinical applications. Existing registration methods for color fundus images typically rely on keypoints and descriptors for alignment; however, a significant limitation is their reliance on labeled data, which is particularly scarce in the medical domain. In this work, we present a novel unsupervised registration pipeline that entirely eliminates the need for labeled data. Our approach is based on the principle that locations with distinctive descriptors constitute reliable keypoints. This fully inverts the conventional state-of-the-art approach, conditioning the detector on the descriptor rather than the opposite. First, we propose an innovative descriptor learning method that operates without keypoint detection or any labels, generating descriptors for arbitrary locations in retinal images. Next, we introduce a novel, label-free keypoint detector network which works by estimating descriptor performance directly from the input image. We validate our method through a comprehensive evaluation on four hold-out datasets, demonstrating that our unsupervised descriptor outperforms state-of-the-art supervised descriptors and that our unsupervised detector significantly outperforms existing unsupervised detection methods. Finally, our full registration pipeline achieves performance comparable to the leading supervised methods, while not employing any labeled data. Additionally, the label-free nature and design of our method enable direct adaptation to other domains and modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL