Measure Anything: Real-time, Multi-stage Vision-based Dimensional Measurement using Segment Anything

要約

我々は、Segment Anything Model（SAM）を活用した、円形断面を持つ物体の寸法測定のための包括的な視覚ベースのフレームワークであるMeasure Anythingを発表する。我々のアプローチは、曲率が変化する棒状の形状や、骨格の傾きが一定の一般的な物体に対して、直径、長さ、体積を含む主要な幾何学的特徴を推定する。このフレームワークは、セグメンテーション、マスク処理、スケルトン構築、2D-3D変換を統合し、ユーザーフレンドリーなインターフェースにパッケージ化されている。我々は、ノースダコタ州の農地から収集したキャノーラの茎の直径を推定することにより、このフレームワークを検証する。茎の直径の測定は、カノーラ作物の健全性と収量に相関する表現型形質であるため、非常に重要である。このアプリケーションはまた、Measure Anythingの可能性を例証するもので、キーポイント検出のようなインテリジェントモデルを統合することで、高スループットアプリケーションのための測定プロセスを完全に自動化する拡張性を拡張します。さらに、最適な把持ポイントを特定するために抽出された幾何学的特徴を活用した、ロボット把持における汎用性を紹介します。

要約(オリジナル)

We present Measure Anything, a comprehensive vision-based framework for dimensional measurement of objects with circular cross-sections, leveraging the Segment Anything Model (SAM). Our approach estimates key geometric features — including diameter, length, and volume — for rod-like geometries with varying curvature and general objects with constant skeleton slope. The framework integrates segmentation, mask processing, skeleton construction, and 2D-3D transformation, packaged in a user-friendly interface. We validate our framework by estimating the diameters of Canola stems — collected from agricultural fields in North Dakota — which are thin and non-uniform, posing challenges for existing methods. Measuring its diameters is critical, as it is a phenotypic traits that correlates with the health and yield of Canola crops. This application also exemplifies the potential of Measure Anything, where integrating intelligent models — such as keypoint detection — extends its scalability to fully automate the measurement process for high-throughput applications. Furthermore, we showcase its versatility in robotic grasping, leveraging extracted geometric features to identify optimal grasp points.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL