DeepPyramid: Enabling Pyramid View and Deformable Pyramid Reception for Semantic Segmentation in Cataract Surgery Videos

要約

白内障手術におけるセマンティックセグメンテーションは、手術結果の向上と臨床リスクの低減に寄与する幅広い応用が可能である。しかし、白内障手術における様々な関連構造のセグメンテーションにおける様々な問題は、独自のネットワークを指定することを非常に困難にしている。(1) ピラミッドビュー融合モジュール：入力畳み込み特徴マップの各画素位置を中心とした周辺領域の様々な角度のグローバルビューを提供するモジュール、 (2) 変形可能ピラミッド受信モジュール：関心対象の幾何学的変形に適応できる広い変形可能な受容野、 (3) マルチスケール意味特徴マップを適応的に監視する専用のピラミッドロス、3つの新機能を用いてこれらの課題に対処するDepPyramidという意味分離ネットワークが提案されている。これらのモジュールを組み合わせることで、特に物体の透明度、変形性、拡張性、鈍いエッジの場合に、意味的セグメンテーション性能を効果的に向上させることができることを示す。我々は、我々のアプローチが最先端のレベルで性能を発揮し、多くの既存手法を大きなマージンで凌駕することを実証する（最良のライバルアプローチと比較して、和に対する交差で3.66%の全体的な改善）。

要約(オリジナル)

Semantic segmentation in cataract surgery has a wide range of applications contributing to surgical outcome enhancement and clinical risk reduction. However, the varying issues in segmenting the different relevant structures in these surgeries make the designation of a unique network quite challenging. This paper proposes a semantic segmentation network, termed DeepPyramid, that can deal with these challenges using three novelties: (1) a Pyramid View Fusion module which provides a varying-angle global view of the surrounding region centering at each pixel position in the input convolutional feature map; (2) a Deformable Pyramid Reception module which enables a wide deformable receptive field that can adapt to geometric transformations in the object of interest; and (3) a dedicated Pyramid Loss that adaptively supervises multi-scale semantic feature maps. Combined, we show that these modules can effectively boost semantic segmentation performance, especially in the case of transparency, deformability, scalability, and blunt edges in objects. We demonstrate that our approach performs at a state-of-the-art level and outperforms a number of existing methods with a large margin (3.66% overall improvement in intersection over union compared to the best rival approach).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL