GMT: Guided Mask Transformer for Leaf Instance Segmentation

要約

リーフインスタンスセグメンテーションは、植物のイメージで各葉を分離して描写することを目的とした、挑戦的なマルチインスタンスセグメンテーションタスクです。
各葉の正確なセグメンテーションは、植物の成長や作物の収量推定のきめ細かい監視などの植物関連の用途にとって重要です。
このタスクは、類似性が高い(形状と色が)、葉のインスタンスの間の高い類似性、大きなサイズのバリエーション、重い閉塞のために挑戦的です。
さらに、通常、注釈付きリーフデータセットのサイズが小さいため、正確なセグメンテーションに必要な特徴的な機能を学習することがより困難です。
これらの課題を克服するための鍵は、葉分布の特定の空間パターンにあると仮定します。
このホワイトペーパーでは、葉の空間分布プライエアをトランスベースのセグメント装置に活用および統合するガイド付きマスクトランス(GMT)を提案します。
これらの空間前の事前は、異なる位置で葉をより分離可能な埋め込み空間にマッピングする一連のガイド関数に埋め込まれています。
当社のGMTは、3つの公共プラントデータセットの最先端を常に上回っています。
私たちのコードは、https://github.com/vios-s/gmt-leaf-ins-segで入手できます。

要約(オリジナル)

Leaf instance segmentation is a challenging multi-instance segmentation task, aiming to separate and delineate each leaf in an image of a plant. Accurate segmentation of each leaf is crucial for plant-related applications such as the fine-grained monitoring of plant growth and crop yield estimation. This task is challenging because of the high similarity (in shape and colour), great size variation, and heavy occlusions among leaf instances. Furthermore, the typically small size of annotated leaf datasets makes it more difficult to learn the distinctive features needed for precise segmentation. We hypothesise that the key to overcoming the these challenges lies in the specific spatial patterns of leaf distribution. In this paper, we propose the Guided Mask Transformer (GMT), which leverages and integrates leaf spatial distribution priors into a Transformer-based segmentor. These spatial priors are embedded in a set of guide functions that map leaves at different positions into a more separable embedding space. Our GMT consistently outperforms the state-of-the-art on three public plant datasets. Our code is available at https://github.com/vios-s/gmt-leaf-ins-seg.

arxiv情報

著者 Feng Chen,Sotirios A. Tsaftaris,Mario Valerio Giuffrida
発行日 2025-01-29 15:59:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV パーマリンク