Unified Vertex Motion Estimation for Integrated Video Stabilization and Stitching in Tractor-Trailer Wheeled Robots

要約

トラクタートレーラーの車輪付きロボットは、物流施設や長距離輸送などの分野での運用を強化するために、包括的な認識タスクを実行する必要があります。
これらのロボットの認識は、トラクターとトレーラーの間の相対的な姿勢の変化、トラクターとトレーラーの間の非同期振動、および大型によって引き起こされる重大なカメラ視差という 3 つの大きな課題に直面しています。
この論文では、未知の環境向けに設計された新しい Unified Vertex Motion Video Stabilization and Stitching フレームワークを提案します。
安定化とスティッチングの関係を確立するために、提案された統合頂点モーション フレームワークは、相対的な位置変化に対処するスティッチング モーション フィールドと、非同期振動に取り組むスタビライゼーション モーション フィールドで構成されます。
次に、安定化とスティッチングに必要な最適化関数の不均一性を認識して、カメラの視差の問題に対処するために重み付けコスト関数アプローチを提案します。
さらに、このフレームワークは実際のトラクター/トレーラーの車輪付きロボットに実装されることに成功しています。
提案された Unified Vertex Motion ビデオの安定化およびステッチング手法は、さまざまな困難なシナリオで徹底的にテストされ、現実世界のロボット タスクにおける精度と実用性が実証されています。

要約(オリジナル)

Tractor-trailer wheeled robots need to perform comprehensive perception tasks to enhance their operations in areas such as logistics parks and long-haul transportation. The perception of these robots face three major challenges: the relative pose change between the tractor and trailer, the asynchronous vibrations between the tractor and trailer, and the significant camera parallax caused by the large size. In this paper, we propose a novel Unified Vertex Motion Video Stabilization and Stitching framework designed for unknown environments. To establish the relationship between stabilization and stitching, the proposed Unified Vertex Motion framework comprises the Stitching Motion Field, which addresses relative positional change, and the Stabilization Motion Field, which tackles asynchronous vibrations. Then, recognizing the heterogeneity of optimization functions required for stabilization and stitching, a weighted cost function approach is proposed to address the problem of camera parallax. Furthermore, this framework has been successfully implemented in real tractor-trailer wheeled robots. The proposed Unified Vertex Motion Video Stabilization and Stitching method has been thoroughly tested in various challenging scenarios, demonstrating its accuracy and practicality in real-world robot tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google