要約
この論文では、導入された自動運転システムの安全性を保証するために、人間のフィードバックによるテスト時間エラーのオンライン修正のために設計された新しいオンライン 3D 検出システムであるテスト時間修正 (TTC) システムを紹介します。
よく研究されているオフライン 3D 検出器が推論時にフリーズするのとは異なり、TTC はオンラインで瞬時にエラーを修正する機能を研究しています。
単純なクリックやボックスの描画など、フレームでのインタラクティブなプロンプトによるユーザー フィードバックを活用することで、TTC は、モデルが固定パラメーターでデプロイされている場合でも、将来のストリーミング入力に対応する検出結果を即座に更新できます。
これにより、自動運転システムは新たなシナリオに即座に適応し、追加の費用のかかるトレーニングを必要とせずに導入リスクを確実に軽減できます。
このような TTC システムを実現するために、当社は既存の 3D 検出器に、オンライン修正のためのプロンプト駆動のクエリ生成機能であるオンライン アダプター (OA) モジュールを装備します。
OA モジュールの中核となるのは、対応する検出とその後の追跡をガイドするための、見逃した対象物の画像である視覚的なプロンプトです。
オンライン推論を通じて見逃したオブジェクトに属するこれらの視覚的プロンプトは、後続のフレームでの継続的なエラー修正のために視覚的プロンプト バッファーによって維持されます。
そうすることで、TTC はオンラインで見逃した物体を継続的に検出し、運転リスクを即座に軽減します。
信頼性が高く、多用途で、適応性のある自動運転を実現します。
広範な実験により、限られたラベル、ゼロショット検出、悪条件などの困難なシナリオにおいても、事前にトレーニングされた 3D 検出器よりも即時エラー修正が大幅に向上することが実証されています。
私たちは、この研究がコミュニティに、導入後の自動運転のためのオンライン修正システムを調査するきっかけになれば幸いです。
コードは公開で共有されます。
要約(オリジナル)
This paper introduces Test-time Correction (TTC) system, a novel online 3D detection system designated for online correction of test-time errors via human feedback, to guarantee the safety of deployed autonomous driving systems. Unlike well-studied offline 3D detectors frozen at inference, TTC explores the capability of instant online error rectification. By leveraging user feedback with interactive prompts at a frame, e.g., a simple click or draw of boxes, TTC could immediately update the corresponding detection results for future streaming inputs, even though the model is deployed with fixed parameters. This enables autonomous driving systems to adapt to new scenarios immediately and decrease deployment risks reliably without additional expensive training. To achieve such TTC system, we equip existing 3D detectors with Online Adapter (OA) module, a prompt-driven query generator for online correction. At the core of OA module are visual prompts, images of missed object-of-interest for guiding the corresponding detection and subsequent tracking. Those visual prompts, belonging to missed objects through online inference, are maintained by the visual prompt buffer for continuous error correction in subsequent frames. By doing so, TTC consistently detects online missed objects and immediately lowers driving risks. It achieves reliable, versatile, and adaptive driving autonomy. Extensive experiments demonstrate significant gain on instant error rectification over pre-trained 3D detectors, even in challenging scenarios with limited labels, zero-shot detection, and adverse conditions. We hope this work would inspire the community to investigate online rectification systems for autonomous driving post-deployment. Code would be publicly shared.
arxiv情報
| 著者 | Zetong Yang,Hanxue Zhang,Yanan Sun,Li Chen,Fei Xia,Fatma Guney,Hongyang Li |
| 発行日 | 2024-12-10 18:59:32+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google