WSESeg: Introducing a Dataset for the Segmentation of Winter Sports Equipment with a Baseline for Interactive Segmentation

要約

このペーパーでは、WSESeg (Winter Sports Equipment Segmentation) と呼ばれる、10 の異なるカテゴリーのウィンター スポーツ用品のインスタンス セグメンテーション マスクを含む新しいデータセットを紹介します。
さらに、上記のデータセットに対してインタラクティブなセグメンテーション実験を実行し、効率的なさらなるラベル付けの可能性を探ります。
SAM モデルと HQ-SAM モデルは、ユーザー ガイド付きセグメンテーションを実行するための基礎モデルとして概念化されています。
主張されている一般化能力を測定するために、WSESeg で評価します。
インタラクティブなセグメンテーションには、テスト時に簡単に悪用可能なグラウンド トゥルース データを作成できるという利点があるため、モデルを明示的に微調整することなく、改善の可能性を探ることを目的として、さまざまなオンライン適応方法をテストする予定です。
私たちの実験では、適応方法により失敗率 (FR) とクリック数 (NoC) のメトリクスが大幅に減少し、一般的により優れたインタラクティブ セグメンテーション結果が得られることがわかりました。

要約(オリジナル)

In this paper we introduce a new dataset containing instance segmentation masks for ten different categories of winter sports equipment, called WSESeg (Winter Sports Equipment Segmentation). Furthermore, we carry out interactive segmentation experiments on said dataset to explore possibilities for efficient further labeling. The SAM and HQ-SAM models are conceptualized as foundation models for performing user guided segmentation. In order to measure their claimed generalization capability we evaluate them on WSESeg. Since interactive segmentation offers the benefit of creating easily exploitable ground truth data during test-time, we are going to test various online adaptation methods for the purpose of exploring potentials for improvements without having to fine-tune the models explicitly. Our experiments show that our adaptation methods drastically reduce the Failure Rate (FR) and Number of Clicks (NoC) metrics, which generally leads faster to better interactive segmentation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google