SuperPoint features in endoscopy

要約

研究成果と日常診療における適用性との間には、しばしば大きな隔たりがある。本研究では、大腸内視鏡検査中に撮影された医療データセットに対する、よく知られた局所特徴の性能を研究する。局所特徴の抽出とマッチングは、多くのコンピュータビジョンアプリケーション、特に3Dモデリングに関する重要なステップである。医療分野では、SIFTのような手作りの局所特徴量とCOLMAPのような公的パイプラインが、この種のタスクのための主要なツールである。我々は、よく知られた自己教師付きアプローチであるSuperPointの可能性を探り、内視鏡領域に適応したバリエーションを提示し、困難な評価フレームワークを提案する。SuperPointに基づくモデルは、この領域で一般的に使用される局所特徴よりも大幅に高いマッチング品質を達成する。我々の適応したモデルは、内視鏡画像で頻繁に問題となるアーチファクトである鏡面領域内の特徴を回避し、結果としてマッチングと再構成結果に利益をもたらす。

要約(オリジナル)

There is often a significant gap between research results and applicability in routine medical practice. This work studies the performance of well-known local features on a medical dataset captured during routine colonoscopy procedures. Local feature extraction and matching is a key step for many computer vision applications, specially regarding 3D modelling. In the medical domain, handcrafted local features such as SIFT, with public pipelines such as COLMAP, are still a predominant tool for this kind of tasks. We explore the potential of the well known self-supervised approach SuperPoint, present an adapted variation for the endoscopic domain and propose a challenging evaluation framework. SuperPoint based models achieve significantly higher matching quality than commonly used local features in this domain. Our adapted model avoids features within specularity regions, a frequent and problematic artifact in endoscopic images, with consequent benefits for matching and reconstruction results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL