要約
自律的なオフロードナビゲーションは、農業、建設、捜索救助、防衛などの用途に必要です。
従来の路上自動運転方式は動的な地形に対応できず、オフロードでの車両制御が困難になります。
最近の深層学習モデルは、そのような地形でのナビゲーションに運動感覚フィードバックとともに知覚センサーを使用しています。
ただし、このアプローチには領域外の不確実性があります。
天候や時間帯の変化などの要因は、モデルのパフォーマンスに影響を与えます。
我々は、LWIR画像とRGB画像を使用して動的な天候や光条件に対する堅牢性を提供できるマルチモーダル融合ネットワークFuseIsPathを提案します。
この分野でのさらなる研究を支援するために、LWIR および RGB 画像を含む昼夜データセットと、横断可能性のための疑似ラベルもオープンソース化しています。
2 つの画像を相互に位置合わせするために、LWIR、LiDAR、および RGB カメラのターゲットレス外部キャリブレーションのための、変換精度 1.7 cm、回転精度 0.827 度の新しい方法を開発しました。
要約(オリジナル)
Autonomous off-road navigation is required for applications in agriculture, construction, search and rescue and defence. Traditional on-road autonomous methods struggle with dynamic terrains, leading to poor vehicle control on off-road. Recent deep-learning models have used perception sensors along with kinesthetic feedback for navigation on such terrains. However, this approach has out-of-domain uncertainty. Factors like change in weather and time of day impacts the performance of the model. We propose a multi modal fusion network FuseIsPath capable of using LWIR and RGB images to provide robustness against dynamic weather and light conditions. To aid further works in this domain, we also open-source a day-night dataset with LWIR and RGB images along with pseudo-labels for traversability. In order to co-register the two images we developed a novel method for targetless extrinsic calibration of LWIR, LiDAR and RGB cameras with translation accuracy of 1.7cm and rotation accuracy of 0.827degree.
arxiv情報
| 著者 | Saksham Sharma,Akshit Raizada,Suresh Sundaram |
| 発行日 | 2024-12-04 09:53:09+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google