WeakSurg: Weakly supervised surgical instrument segmentation using temporal equivariance and semantic continuity

要約

器具の存在ラベルのみを使用した弱く監視された外科器具のセグメンテーションは、外科分野ではほとんど検討されていません。
高度に制約が不十分な課題を軽減するために、2 つの観点からの時間属性を備えた 2 段階の弱教師セグメンテーション パラダイムを拡張します。
時間的等分散の観点から、隣接する特徴間のピクセル単位の一貫性を高めるために、プロトタイプベースの時間等分散調整損失を提案します。
意味的連続性の観点から、ターゲットフレームの全体像と隣接する参照フレームの局所的な非識別領域との間の意味的一貫性を制約するために、クラスを意識した時間的意味的連続性損失を提案します。
私たちの知る限りでは、WeakSurg は、手術シナリオで時間情報を考慮に入れる、機器の存在のみで弱監視されるセグメンテーション アーキテクチャとしては初めてのものです。
位相および機器認識のオープンベンチマークである Cholec80 で広範な実験が検証されています。
当社では、3 年の経験を持つ臨床医によって二重チェックされた固定時間ステップでインスタンスごとの機器ラベルに注釈を付けます。
私たちの結果は、WeakSurg がセマンティック セグメンテーション メトリクスだけでなくインスタンス セグメンテーション メトリクスにおいても最先端の手法と比べて優れていることを示しています。

要約(オリジナル)

Weakly supervised surgical instrument segmentation with only instrument presence labels has been rarely explored in surgical domain. To mitigate the highly under-constrained challenges, we extend a two-stage weakly supervised segmentation paradigm with temporal attributes from two perspectives. From a temporal equivariance perspective, we propose a prototype-based temporal equivariance regulation loss to enhance pixel-wise consistency between adjacent features. From a semantic continuity perspective, we propose a class-aware temporal semantic continuity loss to constrain the semantic consistency between a global view of target frame and local non-discriminative regions of adjacent reference frame. To the best of our knowledge, WeakSurg is the first instrument-presence-only weakly supervised segmentation architecture to take temporal information into account for surgical scenarios. Extensive experiments are validated on Cholec80, an open benchmark for phase and instrument recognition. We annotate instance-wise instrument labels with fixed time-steps which are double checked by a clinician with 3-years experience. Our results show that WeakSurg compares favorably with state-of-the-art methods not only on semantic segmentation metrics but also on instance segmentation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google