PWISeg: Point-based Weakly-supervised Instance Segmentation for Surgical Instruments

要約

外科手術では、器具を正確にカウントすることが不可欠です。
インスタンス セグメンテーションは、オブジェクトの境界ボックスだけでなく、各ピクセルの特定の詳細も特定する位置特定方法です。
ただし、インスタンスのセグメンテーションにおいてマスクレベルのアノテーションを取得するには多大な労力がかかります。
この問題に対処するために、我々は、ポイントベースの弱監視インスタンス セグメンテーション (PWISeg) と呼ばれる、新しく効果的な弱監視手術器具インスタンス セグメンテーション アプローチを提案します。
PWISeg は、ポイントツーボックスおよびポイントツーマスク分岐を備えた FCN ベースのアーキテクチャを採用し、特徴点と境界ボックスの間の関係だけでなく、FPN 上の特徴点とセグメンテーション マスクの間の関係をモデル化し、機器の検出とセグメンテーションを連携して実行します。
シングルモデル。
現実世界ではマスク レベルのアノテーションを利用するのは難しいため、ポイントツーマスク トレーニングでは、予測されたマスクと bbox の間の投影された関係を監視信号として利用して、教師なし投影損失を導入します。
一方、各機器のキーピクセルとしていくつかのピクセルに注釈を付けます。
これに基づいて、キー ピクセルの関連付け損失とキー ピクセルの分布損失をさらに提案し、ポイントツーマスク ブランチを駆動してより正確なセグメンテーション予測を生成します。
このタスクを包括的に評価するために、手動アノテーションを備えた新しい手術器具データセットを公開し、さらなる研究のためのベンチマークを設定します。
当社の包括的な研究試験により、PWISeg の優れたパフォーマンスが検証されました。
結果は、手術器具のセグメンテーションの精度が向上し、弱く監視された境界ボックスを介したインスタンスのセグメンテーションのほとんどの方法を上回っていることを示しています。
この改善は、私たちが提案したデータセットおよび公開 HOSPI-Tools データセットに適用した場合に一貫して観察されます。

要約(オリジナル)

In surgical procedures, correct instrument counting is essential. Instance segmentation is a location method that locates not only an object’s bounding box but also each pixel’s specific details. However, obtaining mask-level annotations is labor-intensive in instance segmentation. To address this issue, we propose a novel yet effective weakly-supervised surgical instrument instance segmentation approach, named Point-based Weakly-supervised Instance Segmentation (PWISeg). PWISeg adopts an FCN-based architecture with point-to-box and point-to-mask branches to model the relationships between feature points and bounding boxes, as well as feature points and segmentation masks on FPN, accomplishing instrument detection and segmentation jointly in a single model. Since mask level annotations are hard to available in the real world, for point-to-mask training, we introduce an unsupervised projection loss, utilizing the projected relation between predicted masks and bboxes as supervision signal. On the other hand, we annotate a few pixels as the key pixel for each instrument. Based on this, we further propose a key pixel association loss and a key pixel distribution loss, driving the point-to-mask branch to generate more accurate segmentation predictions. To comprehensively evaluate this task, we unveil a novel surgical instrument dataset with manual annotations, setting up a benchmark for further research. Our comprehensive research trial validated the superior performance of our PWISeg. The results show that the accuracy of surgical instrument segmentation is improved, surpassing most methods of instance segmentation via weakly supervised bounding boxes. This improvement is consistently observed in our proposed dataset and when applied to the public HOSPI-Tools dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google