Leveraging Multi-stream Information Fusion for Trajectory Prediction in Low-illumination Scenarios: A Multi-channel Graph Convolutional Approach

要約

軌道予測は、自動運転車にとって基本的な問題であり、課題です。
初期の研究は主に、低照度条件の処理に失敗する通常の照明環境での深層学習ベースの予測モデルの複雑なアーキテクチャの設計に焦点を当てていました。
この論文では、画像、オプティカル フロー、およびオブジェクトの軌跡情報を柔軟に統合するマルチストリーム情報融合を活用することにより、低照度シナリオでの軌跡予測のための新しいアプローチを提案します。
画像チャネルは、畳み込みニューラル ネットワーク (CNN) と長短期記憶 (LSTM) ネットワークを使用して、カメラから一時的な情報を抽出します。
オプティカル フロー チャネルは、隣接するカメラ フレーム間の相対運動のパターンをキャプチャするために適用され、時空間グラフ畳み込みネットワーク (ST-GCN) によってモデル化されます。
軌跡チャネルは、車両間の高レベルの相互作用を認識するために使用されます。
最後に、3 つのチャネルすべてからの情報が予測モジュールで効果的に融合され、低照度条件での周囲の車両の将来の軌道を生成します。
提案されたマルチチャネル グラフ畳み込みアプローチは、HEV-I および新しく生成された Dark-HEV-I、主に都市交差点のシナリオに焦点を当てた自己中心的なビジョン データセットで検証されます。
結果は、標準および低照度のシナリオで、私たちの方法がベースラインよりも優れていることを示しています。
さらに、私たちのアプローチは一般的であり、さまざまな種類の認識データを使用するシナリオに適用できます。
提案されたアプローチのソース コードは、https://github.com/TommyGong08/MSIF}{https://github.com/TommyGong08/MSIF で入手できます。

要約(オリジナル)

Trajectory prediction is a fundamental problem and challenge for autonomous vehicles. Early works mainly focused on designing complicated architectures for deep-learning-based prediction models in normal-illumination environments, which fail in dealing with low-light conditions. This paper proposes a novel approach for trajectory prediction in low-illumination scenarios by leveraging multi-stream information fusion, which flexibly integrates image, optical flow, and object trajectory information. The image channel employs Convolutional Neural Network (CNN) and Long Short-term Memory (LSTM) networks to extract temporal information from the camera. The optical flow channel is applied to capture the pattern of relative motion between adjacent camera frames and modelled by Spatial-Temporal Graph Convolutional Network (ST-GCN). The trajectory channel is used to recognize high-level interactions between vehicles. Finally, information from all the three channels is effectively fused in the prediction module to generate future trajectories of surrounding vehicles in low-illumination conditions. The proposed multi-channel graph convolutional approach is validated on HEV-I and newly generated Dark-HEV-I, egocentric vision datasets that primarily focus on urban intersection scenarios. The results demonstrate that our method outperforms the baselines, in standard and low-illumination scenarios. Additionally, our approach is generic and applicable to scenarios with different types of perception data. The source code of the proposed approach is available at https://github.com/TommyGong08/MSIF}{https://github.com/TommyGong08/MSIF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google