Leaf Only SAM: A Segment Anything Pipeline for Zero-Shot Automated Leaf Segmentation

要約

Segment Anything Model (SAM) は、境界ボックス、ポリゴン、ポイントなどのガイド プロンプトを使用してゼロショット オブジェクト セグメンテーション方法として使用できる新しい基礎モデルです。
あるいは、追加の後処理ステップを使用して、画像内のすべてをセグメント化した後、対象のオブジェクトを識別することもできます。
ここでは、Leaf Only SAM と呼ばれる、ジャガイモの葉をセグメント化するための一連の後処理ステップとともに、segment anything を使用する方法を紹介します。
この提案された方法の利点は、結果を生成するためにトレーニング データを必要としないため、利用可能な高品質の注釈付きデータが限られている植物表現型解析の分野全体に多くの用途があることです。
Leaf Only SAM のパフォーマンスを、小さな新しいジャガイモの葉のデータセットで微調整された Mask R-CNN モデルと比較します。
評価データセットでは、Leaf Only SAM の平均再現率は 63.2、平均精度は 60.3 でした。これに対し、Mask R-CNN の再現率は 78.7、精度は 74.7 でした。
Leaf Only SAM は、データに対して微調整された Mask R-CNN モデルよりも優れたパフォーマンスを発揮するわけではありませんが、SAM ベースのモデルは、新しいデータセットの追加のトレーニングやアノテーションを必要としません。
これは、後処理ステップを追加して、SAM をゼロショット分類器として使用できる可能性があることを示しています。

要約(オリジナル)

Segment Anything Model (SAM) is a new foundation model that can be used as a zero-shot object segmentation method with the use of either guide prompts such as bounding boxes, polygons, or points. Alternatively, additional post processing steps can be used to identify objects of interest after segmenting everything in an image. Here we present a method using segment anything together with a series of post processing steps to segment potato leaves, called Leaf Only SAM. The advantage of this proposed method is that it does not require any training data to produce its results so has many applications across the field of plant phenotyping where there is limited high quality annotated data available. We compare the performance of Leaf Only SAM to a Mask R-CNN model which has been fine-tuned on our small novel potato leaf dataset. On the evaluation dataset, Leaf Only SAM finds an average recall of 63.2 and an average precision of 60.3, compared to recall of 78.7 and precision of 74.7 for Mask R-CNN. Leaf Only SAM does not perform better than the fine-tuned Mask R-CNN model on our data, but the SAM based model does not require any extra training or annotation of our new dataset. This shows there is potential to use SAM as a zero-shot classifier with the addition of post processing steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google