Video Polyp Segmentation: A Deep Learning Perspective

要約

ディープ ラーニング時代における最初の包括的なビデオ ポリープ セグメンテーション (VPS) 研究を紹介します。
何年にもわたって、VPS の開発は、大規模な細粒度のセグメンテーション アノテーションが不足しているため、簡単には進められませんでした。
この問題に対処するために、まず、有名な SUN データベースからの 158,690 の大腸内視鏡検査フレームを含む、SUN-SEG という名前の高品質のフレームごとの注釈付き VPS データセットを紹介します。
属性、オブジェクト マスク、境界、スクリブル、ポリゴンなど、さまざまなタイプの追加の注釈を提供します。
次に、グローバル エンコーダー、ローカル エンコーダー、および正規化された自己注意 (NS) ブロックで構成される、PNS+ と呼ばれるシンプルだが効率的なベースラインを設計します。
グローバルおよびローカルエンコーダーは、アンカーフレームと複数の連続フレームを受信して​​、長期および短期の時空間表現を抽出します。これらは、2 つの NS ブロックによって徐々に更新されます。
広範な実験により、PNS+ が最高のパフォーマンスとリアルタイムの推論速度 (170fps) を達成し、VPS タスクの有望なソリューションになることが示されています。
3 番目に、SUN-SEG データセットで 13 の代表的なポリープ/オブジェクト セグメンテーション モデルを広範囲に評価し、属性ベースの比較を提供します。
最後に、いくつかの未解決の問題について議論し、VPS コミュニティの可能な研究の方向性を提案します。

要約(オリジナル)

We present the first comprehensive video polyp segmentation (VPS) study in the deep learning era. Over the years, developments in VPS are not moving forward with ease due to the lack of large-scale fine-grained segmentation annotations. To address this issue, we first introduce a high-quality frame-by-frame annotated VPS dataset, named SUN-SEG, which contains 158,690 colonoscopy frames from the well-known SUN-database. We provide additional annotations with diverse types, i.e., attribute, object mask, boundary, scribble, and polygon. Second, we design a simple but efficient baseline, dubbed PNS+, consisting of a global encoder, a local encoder, and normalized self-attention (NS) blocks. The global and local encoders receive an anchor frame and multiple successive frames to extract long-term and short-term spatial-temporal representations, which are then progressively updated by two NS blocks. Extensive experiments show that PNS+ achieves the best performance and real-time inference speed (170fps), making it a promising solution for the VPS task. Third, we extensively evaluate 13 representative polyp/object segmentation models on our SUN-SEG dataset and provide attribute-based comparisons. Finally, we discuss several open issues and suggest possible research directions for the VPS community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google