HawkDrive: A Transformer-driven Visual Perception System for Autonomous Driving in Night Scene

要約

自律走行シナリオ用に確立された視覚認識システムの多くは、安全運転のための重要な要素の1つである光の状態の影響を無視している。この問題に対処するため、我々はハードウェアとソフトウェアのソリューションを備えた新しい知覚システムであるHawkDriveを発表する。単眼視よりも信頼性の高い奥行き情報の推定方法であることが実証されているステレオビジョン知覚を利用するハードウェアは、エッジコンピューティングデバイスNvidia Jetson Xavier AGXと提携している。低照度の強調、深度推定、セマンティック・セグメンテーション・タスクのための当社のソフトウェアは、トランスフォーマ・ベースのニューラルネットワークです。高速推論とノイズ除去を可能にする我々のソフトウェアスタックは、Robot Operating System 2 (ROS2)のシステムモジュールにパッケージ化されている。我々の実験結果は、提案するエンドツーエンドシステムが奥行き推定と意味分割の性能向上に有効であることを示している。我々のデータセットとコードはhttps://github.com/ZionGo6/HawkDrive。

要約(オリジナル)

Many established vision perception systems for autonomous driving scenarios ignore the influence of light conditions, one of the key elements for driving safety. To address this problem, we present HawkDrive, a novel perception system with hardware and software solutions. Hardware that utilizes stereo vision perception, which has been demonstrated to be a more reliable way of estimating depth information than monocular vision, is partnered with the edge computing device Nvidia Jetson Xavier AGX. Our software for low light enhancement, depth estimation, and semantic segmentation tasks, is a transformer-based neural network. Our software stack, which enables fast inference and noise reduction, is packaged into system modules in Robot Operating System 2 (ROS2). Our experimental results have shown that the proposed end-to-end system is effective in improving the depth estimation and semantic segmentation performance. Our dataset and codes will be released at https://github.com/ZionGo6/HawkDrive.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL