TimberVision: A Multi-Task Dataset and Framework for Log-Component Segmentation and Tracking in Autonomous Forestry Operations

要約

木材はますます価値が高く、多用途な資源となっています。
しかし、丸太の収穫、取り扱い、測定などの林業作業には依然として遠隔地での多大な人的労働が必要であり、重大な安全上のリスクが生じています。
これらのタスクを段階的に自動化すると、効率と安全性が向上する可能性がありますが、個々の丸太、生木とそのコンテキストを正確に検出する必要があります。
この困難なアプリケーション領域に対して初期のアプローチが提案されていますが、堅牢なソリューションを開発するには特殊なデータとアルゴリズムがまだ不足しています。
このギャップを軽減するために、切断面と側面を含む合計 51,000 の幹コンポーネントを含む 2,000 を超える注釈付き RGB 画像で構成される TimberVision データセットを導入しました。これにより、量と詳細の両方の点でこのドメインの既存のデータセットを大幅に上回ります。
マージン。
このデータに基づいて、指向性オブジェクト検出とインスタンス セグメンテーションのための一連のアブレーション実験を実施し、モデルのパフォーマンスに対する複数のシーン パラメーターの影響を評価します。
両方のタスクのモデルによって検出されたコンポーネントを統合されたトランク表現に融合するための汎用フレームワークを導入します。
さらに、幾何学的特性を自動的に導出し、マルチオブジェクト追跡を適用して堅牢性をさらに強化します。
当社の検出および追跡アプローチは、厳しい環境条件下でも、RGB 画像データのみから高度に記述的かつ正確な幹の表現を提供します。
当社のソリューションは幅広いアプリケーション シナリオに適しており、他のセンサー モダリティと簡単に組み合わせることができます。

要約(オリジナル)

Timber represents an increasingly valuable and versatile resource. However, forestry operations such as harvesting, handling and measuring logs still require substantial human labor in remote environments posing significant safety risks. Progressively automating these tasks has the potential of increasing their efficiency as well as safety, but requires an accurate detection of individual logs as well as live trees and their context. Although initial approaches have been proposed for this challenging application domain, specialized data and algorithms are still too scarce to develop robust solutions. To mitigate this gap, we introduce the TimberVision dataset, consisting of more than 2k annotated RGB images containing a total of 51k trunk components including cut and lateral surfaces, thereby surpassing any existing dataset in this domain in terms of both quantity and detail by a large margin. Based on this data, we conduct a series of ablation experiments for oriented object detection and instance segmentation and evaluate the influence of multiple scene parameters on model performance. We introduce a generic framework to fuse the components detected by our models for both tasks into unified trunk representations. Furthermore, we automatically derive geometric properties and apply multi-object tracking to further enhance robustness. Our detection and tracking approach provides highly descriptive and accurate trunk representations solely from RGB image data, even under challenging environmental conditions. Our solution is suitable for a wide range of application scenarios and can be readily combined with other sensor modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google