AI-Assisted Colonoscopy: Polyp Detection and Segmentation using Foundation Models

要約

大腸内視鏡検査では、ディープラーニングモデルの助けを借りて、見逃されたポリープの80％が検出される可能性があります。
この課題に対処できるアルゴリズムの検索では、基礎モデルが有望な候補者として現れます。
彼らのゼロショットまたは少数のショット学習機能は、広範な微調整なしに新しいデータまたはタスクの一般化を促進します。
従来のトレーニングのための大規模な注釈付きデータセットが不足している医療イメージングドメインで特に有利な概念。
これに関連して、検出と境界の両方を評価して、ポリープセグメンテーションの基礎モデルの包括的な評価が実施されました。
この研究では、3つの異なる大腸内視鏡検査データセットが採用されており、2つのベンチマークネットワーク、Yolov8とMask R-CNNと、Dinov2、Yolo-World、Groundingdino、Sam、Medsamの5つの異なる基礎モデルの性能を比較しています。
結果は、ポリープの特性評価における基礎モデルの成功がドメインの専門化に大きく依存していることを示しています。
医療用途で最適なパフォーマンスのために、ドメイン固有のモデルが不可欠であり、一般的なモデルでは効果的な結果を達成するために微調整が必​​要です。
この専門化を通じて、Foundationモデルは、最先端の検出およびセグメンテーションモデルと比較して優れたパフォーマンスを実証しました。一部のモデルはゼロショット評価にも優れています。
目に見えないデータの微調整モデルを上回る。

要約(オリジナル)

In colonoscopy, 80% of the missed polyps could be detected with the help of Deep Learning models. In the search for algorithms capable of addressing this challenge, foundation models emerge as promising candidates. Their zero-shot or few-shot learning capabilities, facilitate generalization to new data or tasks without extensive fine-tuning. A concept that is particularly advantageous in the medical imaging domain, where large annotated datasets for traditional training are scarce. In this context, a comprehensive evaluation of foundation models for polyp segmentation was conducted, assessing both detection and delimitation. For the study, three different colonoscopy datasets have been employed to compare the performance of five different foundation models, DINOv2, YOLO-World, GroundingDINO, SAM and MedSAM, against two benchmark networks, YOLOv8 and Mask R-CNN. Results show that the success of foundation models in polyp characterization is highly dependent on domain specialization. For optimal performance in medical applications, domain-specific models are essential, and generic models require fine-tuning to achieve effective results. Through this specialization, foundation models demonstrated superior performance compared to state-of-the-art detection and segmentation models, with some models even excelling in zero-shot evaluation; outperforming fine-tuned models on unseen data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google