Multi-modal Retinal Image Registration Using a Keypoint-Based Vessel Structure Aligning Network

要約

眼科画像では、網膜疾患の診断を行うために、カラー眼底、赤外線、フルオレセイン血管造影、光コヒーレンストモグラフィー（OCT）、OCT血管造影などの複数の画像システムが関与することがよくあります。
マルチモーダル網膜登録技術は、異なるモダリティまたは取得時間からの画像内の整列した血管構造のピクセルベースの比較を提供することにより、眼科医を支援することができます。
この目的のために、マルチモーダル網膜画像レジストレーションのためのエンドツーエンドのトレーニング可能な深層学習法を提案します。
私たちの方法は、キーポイントの検出と説明のために血管構造から畳み込み特徴を抽出し、特徴マッチングのためにグラフニューラルネットワークを使用します。
キーポイント検出および記述ネットワークとグラフニューラルネットワークは、合成マルチモーダル画像ペアを使用して自己監視方式で共同でトレーニングされ、合成的にサンプリングされたグラウンドトゥルースホモグラフィによってガイドされます。
私たちの方法は、合成網膜データセットの競合方法としてより高い登録精度を示し、実際の黄斑データセットと公的眼底データセットに対してよく一般化されています。

要約(オリジナル)

In ophthalmological imaging, multiple imaging systems, such as color fundus, infrared, fluorescein angiography, optical coherence tomography (OCT) or OCT angiography, are often involved to make a diagnosis of retinal disease. Multi-modal retinal registration techniques can assist ophthalmologists by providing a pixel-based comparison of aligned vessel structures in images from different modalities or acquisition times. To this end, we propose an end-to-end trainable deep learning method for multi-modal retinal image registration. Our method extracts convolutional features from the vessel structure for keypoint detection and description and uses a graph neural network for feature matching. The keypoint detection and description network and graph neural network are jointly trained in a self-supervised manner using synthetic multi-modal image pairs and are guided by synthetically sampled ground truth homographies. Our method demonstrates higher registration accuracy as competing methods for our synthetic retinal dataset and generalizes well for our real macula dataset and a public fundus dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google