Language-Driven Active Learning for Diverse Open-Set 3D Object Detection

要約

物体検出は安全な自動運転を確保するために重要です。
ただし、データ駆動型のアプローチは、3D 運転シーンで少数派または新しいオブジェクトに遭遇した場合に課題に直面します。
この論文では、多様なオープンセット 3D オブジェクト検出のための言語駆動型アクティブ ラーニング フレームワークである VisLED を提案します。
私たちの方法では、アクティブ ラーニング技術を活用して、ラベルのないプールから多様で有益なデータ サンプルをクエリし、過小評価されているオブジェクトや新しいオブジェクトを検出するモデルの能力を強化します。
具体的には、オープンワールドの探索とクローズドワールドのマイニング設定の両方で動作する、Vision-Language Embedding Diversity Querying (VisLED-Querying) アルゴリズムを導入します。
オープンワールドの探索では、VisLED-Querying は既存のデータと比較して最も新しいデータ ポイントを選択しますが、クローズドワールドのマイニングでは、既知のクラスの新しいインスタンスをマイニングします。
nuScenes データセットに対するアプローチを評価し、ランダム サンプリングやエントロピー クエリ手法と比較してその有効性を実証します。
私たちの結果は、VisLED クエリがランダム サンプリングよりも一貫して優れており、エントロピー クエリのモデル最適性にもかかわらず、エントロピー クエリと比較して競争力のあるパフォーマンスを提供することを示しており、自動運転シナリオにおける物体検出を向上させる VisLED の可能性を強調しています。

要約(オリジナル)

Object detection is crucial for ensuring safe autonomous driving. However, data-driven approaches face challenges when encountering minority or novel objects in the 3D driving scene. In this paper, we propose VisLED, a language-driven active learning framework for diverse open-set 3D Object Detection. Our method leverages active learning techniques to query diverse and informative data samples from an unlabeled pool, enhancing the model’s ability to detect underrepresented or novel objects. Specifically, we introduce the Vision-Language Embedding Diversity Querying (VisLED-Querying) algorithm, which operates in both open-world exploring and closed-world mining settings. In open-world exploring, VisLED-Querying selects data points most novel relative to existing data, while in closed-world mining, it mines new instances of known classes. We evaluate our approach on the nuScenes dataset and demonstrate its effectiveness compared to random sampling and entropy-querying methods. Our results show that VisLED-Querying consistently outperforms random sampling and offers competitive performance compared to entropy-querying despite the latter’s model-optimality, highlighting the potential of VisLED for improving object detection in autonomous driving scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google