ClassifyViStA:WCE Classification with Visual understanding through Segmentation and Attention

要約

胃腸 (GI) 出血は、特に医療リソースへのアクセスが限られている環境では、重大な診断上の問題を引き起こす深刻な病状です。
ワイヤレス カプセル内視鏡 (WCE) は、胃腸管を視覚化するための強力な診断ツールとして登場しましたが、経験豊富な消化器内科医による時間のかかる手動分析が必要であり、人的ミスが発生しやすく、患者数の増加を考えると非効率的です。この課題に対処するには
では、WCE ビデオからの出血フレームと非出血フレームの自動検出と分類のために設計された AI ベースのフレームワークである ClassifyViStA を提案します。
このモデルは、標準的な分類パスで構成され、暗黙的アテンション ブランチとセグメンテーション ブランチという 2 つの特殊なブランチによって拡張されています。アテンション ブランチは出血領域に焦点を当て、セグメンテーション ブランチは分類と解釈可能性に使用される正確なセグメンテーション マスクを生成します。
このモデルは、分類パフォーマンスを向上させるために、ResNet18 および VGG16 アーキテクチャのアンサンブルに基づいて構築されています。
出血領域の検出については、YOLOv8 を使用したソフト非最大抑制 (ソフト NMS) アプローチを実装しています。これにより、重複する境界ボックスの処理が改善され、より正確で微妙な検出が可能になります。システムの解釈性は、セグメンテーション マスクを使用して強化されます。
分類結果を説明し、消化器内科医が出血領域を特定する方法と同様の意思決定プロセスについての洞察を提供します。
当社のアプローチは、消化管出血の検出を自動化するだけでなく、医療従事者の負担を軽減し、診断効率を向上させる解釈可能なソリューションも提供します。
私たちのコードは ClassifyViStA で入手できます。

要約(オリジナル)

Gastrointestinal (GI) bleeding is a serious medical condition that presents significant diagnostic challenges, particularly in settings with limited access to healthcare resources. Wireless Capsule Endoscopy (WCE) has emerged as a powerful diagnostic tool for visualizing the GI tract, but it requires time-consuming manual analysis by experienced gastroenterologists, which is prone to human error and inefficient given the increasing number of patients.To address this challenge, we propose ClassifyViStA, an AI-based framework designed for the automated detection and classification of bleeding and non-bleeding frames from WCE videos. The model consists of a standard classification path, augmented by two specialized branches: an implicit attention branch and a segmentation branch.The attention branch focuses on the bleeding regions, while the segmentation branch generates accurate segmentation masks, which are used for classification and interpretability. The model is built upon an ensemble of ResNet18 and VGG16 architectures to enhance classification performance. For the bleeding region detection, we implement a Soft Non-Maximum Suppression (Soft NMS) approach with YOLOv8, which improves the handling of overlapping bounding boxes, resulting in more accurate and nuanced detections.The system’s interpretability is enhanced by using the segmentation masks to explain the classification results, offering insights into the decision-making process similar to the way a gastroenterologist identifies bleeding regions. Our approach not only automates the detection of GI bleeding but also provides an interpretable solution that can ease the burden on healthcare professionals and improve diagnostic efficiency. Our code is available at ClassifyViStA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google