DPGP: A Hybrid 2D-3D Dual Path Potential Ghost Probe Zone Prediction Framework for Safe Autonomous Driving

要約

現代のロボットは、密集した都市環境で人間と共存しなければなりません。
重要な課題はゴーストプローブの問題です。そこでは、歩行者やオブジェクトが予期せずトラフィックパスに突入します。
この問題は、自動運転車と人間のドライバーの両方に影響します。
既存の作品は、ゴーストプローブゾーン検出のための車両からすべてのもの（V2X）戦略と非表示（NLOS）イメージングを提案しています。
ただし、ほとんどの場合、高い計算能力または特殊なハードウェアが必要であり、実際の実現可能性が制限されています。
さらに、多くの方法では、この問題に明示的に対処していません。
これに取り組むために、トレーニングと推論中に単眼カメラのみを使用して、ゴーストプローブゾーン予測のハイブリッド2D-3D融合フレームワークであるDPGPを提案します。
監視されていない深さの予測により、ゴーストプローブゾーンが深さの不連続性に合わせて観察しますが、深さ表現が異なるとさまざまな堅牢性があります。
これを活用するために、複数の特徴の埋め込みを融合して予測を改善します。
アプローチを検証するために、ゴーストプローブゾーンが注釈が付けられた12Kイメージデータセットを作成し、正確に慎重に調達し、クロスチェックしました。
実験結果は、私たちのフレームワークが既存の方法を上回っている間、費用対効果の高いままであることを示しています。
私たちの知る限り、これは車両を超えてゴーストプローブゾーンの予測を拡張する最初の作業であり、多様な非車両オブジェクトに対処します。
コミュニティの利益のために、コードとデータセットをオープンソーシングします。

要約(オリジナル)

Modern robots must coexist with humans in dense urban environments. A key challenge is the ghost probe problem, where pedestrians or objects unexpectedly rush into traffic paths. This issue affects both autonomous vehicles and human drivers. Existing works propose vehicle-to-everything (V2X) strategies and non-line-of-sight (NLOS) imaging for ghost probe zone detection. However, most require high computational power or specialized hardware, limiting real-world feasibility. Additionally, many methods do not explicitly address this issue. To tackle this, we propose DPGP, a hybrid 2D-3D fusion framework for ghost probe zone prediction using only a monocular camera during training and inference. With unsupervised depth prediction, we observe ghost probe zones align with depth discontinuities, but different depth representations offer varying robustness. To exploit this, we fuse multiple feature embeddings to improve prediction. To validate our approach, we created a 12K-image dataset annotated with ghost probe zones, carefully sourced and cross-checked for accuracy. Experimental results show our framework outperforms existing methods while remaining cost-effective. To our knowledge, this is the first work extending ghost probe zone prediction beyond vehicles, addressing diverse non-vehicle objects. We will open-source our code and dataset for community benefit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google