Weakly Semi-supervised Tool Detection in Minimally Invasive Surgery Videos

要約

手術ツールの検出は、低侵襲手術ビデオを分析および評価するために不可欠です。
現在のアプローチは、ほとんどが教師ありメソッドに基づいており、完全にインスタンス レベルの大きなラベル (つまり、境界ボックス) を必要とします。
ただし、インスタンス レベルのラベルを持つ大規模な画像データセットは、アノテーションの負担により制限されることがよくあります。
したがって、画像レベルのアノテーションはインスタンス レベルのアノテーションよりも時間効率が大幅に高いため、インスタンス レベルのラベルではなく画像レベルのラベルを提供する場合、手術器具の検出が重要になります。
この取り組みでは、非常にコストのかかるアノテーションの負担と検出パフォーマンスのバランスを取ることを提案します。
さらに、共起損失を提案します。これは、画像レベルのラベルを活用するために、一部のツール ペアが画像内で頻繁に共起するという特性を考慮します。
共起損失を使用して共起の知識をカプセル化することは、一部のツールが類似した形状とテクスチャを持つという事実に起因する分類の困難を克服するのに役立ちます。
Endovis2018 データセットに対してさまざまなデータ設定で行われた広範な実験により、私たちの手法の有効性が示されています。

要約(オリジナル)

Surgical tool detection is essential for analyzing and evaluating minimally invasive surgery videos. Current approaches are mostly based on supervised methods that require large, fully instance-level labels (i.e., bounding boxes). However, large image datasets with instance-level labels are often limited because of the burden of annotation. Thus, surgical tool detection is important when providing image-level labels instead of instance-level labels since image-level annotations are considerably more time-efficient than instance-level annotations. In this work, we propose to strike a balance between the extremely costly annotation burden and detection performance. We further propose a co-occurrence loss, which considers a characteristic that some tool pairs often co-occur together in an image to leverage image-level labels. Encapsulating the knowledge of co-occurrence using the co-occurrence loss helps to overcome the difficulty in classification that originates from the fact that some tools have similar shapes and textures. Extensive experiments conducted on the Endovis2018 dataset in various data settings show the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google