GMT: Guided Mask Transformer for Leaf Instance Segmentation

要約

葉のインスタンスのセグメンテーションは、植物の画像内の各葉を分離して描写することを目的とした、困難なマルチインスタンスのセグメンテーション タスクです。
各葉の正確なセグメンテーションは、植物の成長のきめ細かいモニタリングや作物収量の推定など、植物関連のアプリケーションにとって非常に重要です。
このタスクは、リーフ インスタンス間の類似性 (形状と色) が高く、サイズのばらつきが大きく、オクルージョンが多いため、困難です。
さらに、アノテーション付き葉データセットのサイズは通常小さいため、正確なセグメンテーションに必要な特有の特徴を学習することがさらに困難になります。
私たちは、これらの課題を克服する鍵は葉の分布の特定の空間パターンにあると仮説を立てています。
この論文では、ガイド付きマスク トランスフォーマー (GMT) を提案します。これは、葉の空間分布事前分布を活用し、トランスフォーマー ベースのセグメンターに統合します。
これらの空間事前分布は、さまざまな位置にあるリーフをより分離可能な埋め込み空間にマッピングする一連のガイド関数に埋め込まれています。
当社の GMT は、3 つの公開プラント データセットにおいて常に最先端のパフォーマンスを上回っています。

要約(オリジナル)

Leaf instance segmentation is a challenging multi-instance segmentation task, aiming to separate and delineate each leaf in an image of a plant. Accurate segmentation of each leaf is crucial for plant-related applications such as the fine-grained monitoring of plant growth and crop yield estimation. This task is challenging because of the high similarity (in shape and colour), great size variation, and heavy occlusions among leaf instances. Furthermore, the typically small size of annotated leaf datasets makes it more difficult to learn the distinctive features needed for precise segmentation. We hypothesise that the key to overcoming the these challenges lies in the specific spatial patterns of leaf distribution. In this paper, we propose the Guided Mask Transformer (GMT), which leverages and integrates leaf spatial distribution priors into a Transformer-based segmentor. These spatial priors are embedded in a set of guide functions that map leaves at different positions into a more separable embedding space. Our GMT consistently outperforms the state-of-the-art on three public plant datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google