Catheter Detection and Segmentation in X-ray Images via Multi-task Learning

要約

X線蛍光視鏡画像のカテーテルやワイヤなどの手術装置の自動検出とセグメンテーションは、低侵襲性心臓手術における画像ガイダンスを強化する可能性があります。
この論文では、エンドツーエンドの深い学習フレームワークで、カテーテルの電極とカテーテルセグメンテーションのリアルタイムで正確なローカリゼーションを実現するために、ResNetアーキテクチャを複数の予測ヘッドと統合する畳み込みニューラルネットワークモデルを紹介します。
また、マルチタスク学習戦略を提案します。この戦略では、モデルが正確な電極検出とカテーテルセグメンテーションの両方を同時に実行するように訓練されています。
このアプローチの重要な課題は、両方のタスクで最適なパフォーマンスを達成することです。
これに対処するために、新しいマルチレベルの動的リソース優先順位付け方法を紹介します。
この方法は、トレーニング中にサンプルとタスクの重みを動的に調整して、より挑戦的なタスクに効果的に優先順位を付けます。タスクの難易度はパフォーマンスに反比例し、トレーニングプロセス全体で進化します。
パブリックデータセットとプライベートデータセットの両方での実験により、この方法の精度が、単一セグメンテーションタスクと検出およびセグメンテーションマルチタスクの両方で、既存の最先端の方法を上回ることが実証されています。
私たちのアプローチは、精度と効率の間の良好なトレードオフを達成し、リアルタイムの外科的ガイダンスアプリケーションに適しています。

要約(オリジナル)

Automated detection and segmentation of surgical devices, such as catheters or wires, in X-ray fluoroscopic images have the potential to enhance image guidance in minimally invasive heart surgeries. In this paper, we present a convolutional neural network model that integrates a resnet architecture with multiple prediction heads to achieve real-time, accurate localization of electrodes on catheters and catheter segmentation in an end-to-end deep learning framework. We also propose a multi-task learning strategy in which our model is trained to perform both accurate electrode detection and catheter segmentation simultaneously. A key challenge with this approach is achieving optimal performance for both tasks. To address this, we introduce a novel multi-level dynamic resource prioritization method. This method dynamically adjusts sample and task weights during training to effectively prioritize more challenging tasks, where task difficulty is inversely proportional to performance and evolves throughout the training process. Experiments on both public and private datasets have demonstrated that the accuracy of our method surpasses the existing state-of-the-art methods in both single segmentation task and in the detection and segmentation multi-task. Our approach achieves a good trade-off between accuracy and efficiency, making it well-suited for real-time surgical guidance applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google