Uni$^2$Det: Unified and Universal Framework for Prompt-Guided Multi-dataset 3D Detection

要約

Uni$^2$Det は、3D 検出に関する統合された普遍的なマルチデータセット トレーニングのための新しいフレームワークであり、多様なドメインにわたる堅牢なパフォーマンスと、目に見えないドメインへの一般化を可能にします。
データの分布には大きな差異があり、さまざまなドメインにわたる分類にはばらつきがあるため、データセットを単純に結合するだけでこのような検出器をトレーニングすることは、大きな課題となります。
この観察を動機として、マルチデータセット 3D 検出用の多段階プロンプト モジュールを導入します。これは、対応するデータセットの特性に基づいたプロンプトを活用して、既存の差異を軽減します。
このエレガントな設計により、統合された方法でさまざまな高度な 3D 検出フレームワーク内でシームレスなプラグ アンド プレイの統合が容易になると同時に、データセット全体での普遍的な適用性を簡単に調整することもできます。
実験は、KITTI、Waymo、nuScenes を含む複数のデータセット統合シナリオにわたって実施され、Uni$^2$Det が複数データセットのトレーニングにおいて既存の手法を大幅に上回るパフォーマンスを示しています。
特に、ゼロショットクロスデータセット転送の結果は、提案した方法の一般化機能を検証します。

要約(オリジナル)

We present Uni$^2$Det, a brand new framework for unified and universal multi-dataset training on 3D detection, enabling robust performance across diverse domains and generalization to unseen domains. Due to substantial disparities in data distribution and variations in taxonomy across diverse domains, training such a detector by simply merging datasets poses a significant challenge. Motivated by this observation, we introduce multi-stage prompting modules for multi-dataset 3D detection, which leverages prompts based on the characteristics of corresponding datasets to mitigate existing differences. This elegant design facilitates seamless plug-and-play integration within various advanced 3D detection frameworks in a unified manner, while also allowing straightforward adaptation for universal applicability across datasets. Experiments are conducted across multiple dataset consolidation scenarios involving KITTI, Waymo, and nuScenes, demonstrating that our Uni$^2$Det outperforms existing methods by a large margin in multi-dataset training. Notably, results on zero-shot cross-dataset transfer validate the generalization capability of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google