Adaptive Sampling-based Particle Filter for Visual-inertial Gimbal in the Wild

要約

この論文では、自然界で動作するドローン上の 3D プリント ジンバル システムに特化した、コンピューター ビジョン (CV) ベースの追跡および融合アルゴリズムを紹介します。
ジンバル システム全体は、スカイラインと地表を基準として使用することで、厳しい自然のシナリオでもカメラの向きを確実に安定させることができます。
私たちの主な貢献は次のとおりです。 a) 軽量の Resnet-18 バックボーン ネットワーク モデルをゼロからトレーニングし、Jetson Nano プラットフォームに展開して画像をバイナリ部分 (地面と空) にセグメント化しました。
b) 自然の手がかりからの幾何学的仮定は、スカイラインと地面を基準として使用することにより、堅牢な視覚追跡の可能性をもたらします。
c) 球面ベースの適応粒子サンプリングにより、複数のセンサー ソースからの方向を柔軟に融合できます。
アルゴリズム パイプライン全体は、Jetson やその他のハードウェア コンポーネントを含むカスタマイズされたジンバル モジュールでテストされます。
実験は実際の風景にある建物の屋上で行われました。

要約(オリジナル)

In this paper, we present a Computer Vision (CV) based tracking and fusion algorithm, dedicated to a 3D printed gimbal system on drones operating in nature. The whole gimbal system can stabilize the camera orientation robustly in a challenging nature scenario by using skyline and ground plane as references. Our main contributions are the following: a) a light-weight Resnet-18 backbone network model was trained from scratch, and deployed onto the Jetson Nano platform to segment the image into binary parts (ground and sky); b) our geometry assumption from nature cues delivers the potential for robust visual tracking by using the skyline and ground plane as a reference; c) a spherical surface-based adaptive particle sampling, can fuse orientation from multiple sensor sources flexibly. The whole algorithm pipeline is tested on our customized gimbal module including Jetson and other hardware components. The experiments were performed on top of a building in the real landscape.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google