Unified Vertex Motion Estimation for Integrated Video Stabilization and Stitching in Tractor-Trailer Wheeled Robots

要約

トラクタートレーラーの車輪付きロボットは、ロジスティクスパークや長距離輸送などの分野での運用を強化するために、包括的な認識タスクを実行する必要があります。
これらのロボットの認識は、トラクターとトレーラーの間の非同期振動、トラクターとトレーラーの間の相対的な変化、および大きなサイズによって引き起こされる重要なカメラの視差など、3つの主要な課題に直面しています。
このホワイトペーパーでは、デュアル独立安定化モーションフィールド推定法を使用して、トラクターとトレーラーの間の非同期振動に対処し、重複する領域で同じオブジェクトの競合するモーション推定を効果的に排除します。
ランダム平面ベースのステッチモーションフィールド推定方法を利用して、トラクターとトレーラーの間の明確なヒッチによって引き起こされる連続的な相対ポーズの変化に取り組み、重複する領域の動的な不整合を排除します。
さらに、統一された頂点モーション推定法を適用して、トラクタートレーラーの大きな物理サイズによってもたらされる課題を管理し、トラクターとトレーラービューの間の重複する領域が大幅に低い領域を引き起こし、したがって、オーバーラップ領域の歪みが、非過剰な領域に伝播するのを防ぎます。
さらに、このフレームワークは、実際のトラクタートレーラーホイール付きロボットに正常に実装されています。
提案された統一された頂点モーションビデオの安定化とステッチ方法は、さまざまな挑戦的なシナリオで徹底的にテストされており、現実世界での正確性と実用性を示しています。

要約(オリジナル)

Tractor-trailer wheeled robots need to perform comprehensive perception tasks to enhance their operations in areas such as logistics parks and long-haul transportation. The perception of these robots faces three major challenges: the asynchronous vibrations between the tractor and trailer, the relative pose change between the tractor and trailer, and the significant camera parallax caused by the large size. In this paper, we employ the Dual Independence Stabilization Motion Field Estimation method to address asynchronous vibrations between the tractor and trailer, effectively eliminating conflicting motion estimations for the same object in overlapping regions. We utilize the Random Plane-based Stitching Motion Field Estimation method to tackle the continuous relative pose changes caused by the articulated hitch between the tractor and trailer, thus eliminating dynamic misalignment in overlapping regions. Furthermore, we apply the Unified Vertex Motion Estimation method to manage the challenges posed by the tractor-trailer’s large physical size, which results in severely low overlapping regions between the tractor and trailer views, thus preventing distortions in overlapping regions from exponentially propagating into non-overlapping areas. Furthermore, this framework has been successfully implemented in real tractor-trailer wheeled robots. The proposed Unified Vertex Motion Video Stabilization and Stitching method has been thoroughly tested in various challenging scenarios, demonstrating its accuracy and practicality in real-world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google