PlantTrack: Task-Driven Plant Keypoint Tracking with Zero-Shot Sim2Real Transfer

要約

植物の特徴を追跡することは、表現型解析、剪定、収穫などのさまざまな農業作業にとって重要ですが、植物環境は構造化されておらず、乱雑で変形しやすい性質があるため、追跡は困難な作業となっています。
これに関連して、基礎モデルの最近の進歩は、この課題への対処において有望であることを示しています。
私たちの研究では、高次元の特徴を提供する DINOv2 を利用し、キーポイント ヒートマップ予測ネットワークをトレーニングして、果物や葉などの意味論的な特徴の位置を識別する PlantTrack を提案します。これらの特徴は、ビデオ フレーム全体にわたるポイント追跡のプロンプトとして使用されます。
バク。
キーポイント予測子のトレーニングに使用するわずか 20 枚の合成画像で、ゼロショット Sim2Real 転送が達成され、実際の環境におけるプラント特徴の効果的な追跡が可能になることを示します。

要約(オリジナル)

Tracking plant features is crucial for various agricultural tasks like phenotyping, pruning, or harvesting, but the unstructured, cluttered, and deformable nature of plant environments makes it a challenging task. In this context, the recent advancements in foundational models show promise in addressing this challenge. In our work, we propose PlantTrack where we utilize DINOv2 which provides high-dimensional features, and train a keypoint heatmap predictor network to identify the locations of semantic features such as fruits and leaves which are then used as prompts for point tracking across video frames using TAPIR. We show that with as few as 20 synthetic images for training the keypoint predictor, we achieve zero-shot Sim2Real transfer, enabling effective tracking of plant features in real environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google