Joint 2D-3D Multi-Task Learning on Cityscapes-3D: 3D Detection, Segmentation, and Depth Estimation

要約

タイトル：Cityscapes-3Dにおける合同2D-3Dマルチタスク学習：3D検出、セグメンテーション、および深度推定

要約：
– この報告書は、TaskPrompterの新しい合同2D-3Dマルチタスク学習ベンチマークであるCityscapes-3Dに対する実装を詳しく説明しています。
– TaskPrompterは、従来のアプローチとは異なり、（i）タスク一般的表現、（ii）タスク特有の表現、および（iii）クロスタスク相互作用の学習を統合する革新的なマルチタスクプロンプトフレームワークを提供します。
– この統合アプローチは、煩雑な構造デザインの必要性を減らすだけでなく、全体的なモデル容量が同時に3つの目的を最適化するため、マルチタスクネットワークの表現学習能力を大幅に向上させます。
– TaskPrompterは、monocular 3D車検出、セマンティックセグメンテーション、および単眼深度推定に対して同時に予測を生成するマルチタスクベンチマークをCityscapes-3Dデータセットに基づいて紹介します。
– これらのタスクは、自律走行システムの開発において、視覚シーンの合同2D-3D理解を実現するために重要です。
– この厳しい基準に対して、マルチタスクモデルは、シングルタスクの最先端方法と比較して強い性能を発揮し、厳しい3D検出および深度推定タスクにおいて新しい最先端の結果を確立します。

要約(オリジナル)

This report serves as a supplementary document for TaskPrompter, detailing its implementation on a new joint 2D-3D multi-task learning benchmark based on Cityscapes-3D. TaskPrompter presents an innovative multi-task prompting framework that unifies the learning of (i) task-generic representations, (ii) task-specific representations, and (iii) cross-task interactions, as opposed to previous approaches that separate these learning objectives into different network modules. This unified approach not only reduces the need for meticulous empirical structure design but also significantly enhances the multi-task network’s representation learning capability, as the entire model capacity is devoted to optimizing the three objectives simultaneously. TaskPrompter introduces a new multi-task benchmark based on Cityscapes-3D dataset, which requires the multi-task model to concurrently generate predictions for monocular 3D vehicle detection, semantic segmentation, and monocular depth estimation. These tasks are essential for achieving a joint 2D-3D understanding of visual scenes, particularly in the development of autonomous driving systems. On this challenging benchmark, our multi-task model demonstrates strong performance compared to single-task state-of-the-art methods and establishes new state-of-the-art results on the challenging 3D detection and depth estimation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI