CaRaFFusion: Improving 2D Semantic Segmentation with Camera-Radar Point Cloud Fusion and Zero-Shot Image Inpainting

要約

環境でオブジェクトをセグメント化することは、各エージェントの周囲をよりよく理解できるようにするため、自律運転とロボット工学のための重要なタスクです。
カメラセンサーは豊富な視覚的詳細を提供しますが、有害な気象条件に対して脆弱です。
対照的に、レーダーセンサーはそのような条件下では堅牢なままですが、多くの場合、まばらでノイズの多いデータを生成します。
したがって、有望なアプローチは、両方のセンサーから情報を融合することです。
この作業では、拡散モデルをカメラレーダーフュージョンアーキテクチャに統合することにより、カメラのみのベースラインを強化する新しいフレームワークを提案します。
レーダーポイント機能を活用して、セグメントアポンシングモデルを使用して擬似マスクを作成し、投影されたレーダーポイントをポイントプロンプトとして扱います。
さらに、これらの擬似マスクを除去するためにノイズリダースユニットを提案します。これらの擬似マスクは、元の画像の不足している情報を完成させる塗装された画像を生成するためにさらに使用されます。
私たちの方法により、MIOUでカメラのみのセグメンテーションベースラインが2.63％改善され、WaterscenesデータセットでMIOUでカメラレーダル融合アーキテクチャが1.48％向上します。
これは、有害な気象条件下でのカメラレーダー融合を使用したセマンティックセグメンテーションのアプローチの有効性を示しています。

要約(オリジナル)

Segmenting objects in an environment is a crucial task for autonomous driving and robotics, as it enables a better understanding of the surroundings of each agent. Although camera sensors provide rich visual details, they are vulnerable to adverse weather conditions. In contrast, radar sensors remain robust under such conditions, but often produce sparse and noisy data. Therefore, a promising approach is to fuse information from both sensors. In this work, we propose a novel framework to enhance camera-only baselines by integrating a diffusion model into a camera-radar fusion architecture. We leverage radar point features to create pseudo-masks using the Segment-Anything model, treating the projected radar points as point prompts. Additionally, we propose a noise reduction unit to denoise these pseudo-masks, which are further used to generate inpainted images that complete the missing information in the original images. Our method improves the camera-only segmentation baseline by 2.63% in mIoU and enhances our camera-radar fusion architecture by 1.48% in mIoU on the Waterscenes dataset. This demonstrates the effectiveness of our approach for semantic segmentation using camera-radar fusion under adverse weather conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google