Opportunistic Collaborative Planning with Large Vision Model Guided Control and Joint Query-Service Optimization

要約

オープンシナリオで自動運転車をナビゲートすることは、目に見えないオブジェクトを処理するのが難しいため、課題です。
既存のソリューションは、一般化と闘う小さなモデルまたはリソース集約型の大規模モデルに依存しています。
2つのコラボレーションは有望なソリューションを提供しますが、重要な課題は、いつ、どのように大規模なモデルを引き付けるかを決定することです。
この問題に対処するために、このペーパーでは、2つの重要なイノベーションを通じて、効率的なローカルモデルを強力なクラウドモデルとシームレスに統合する日和見的コラボレーションプランニング（OCP）を提案します。
まず、LVMの認識と意思決定のためにクラウドを活用する大規模なビジョンモデルガイドモデル予測制御（LVM-MPC）を提案します。
クラウド出力は、ローカルMPCのグローバルなガイダンスとして機能し、それにより閉ループの知覚から制御システムを形成します。
第二に、大規模なモデルクエリとサービスに最適なタイミングを決定するために、オブジェクト検出信頼性のしきい値（ODCT）およびクラウドフォワードシミュレーション（CFS）を含むコラボレーションタイミング最適化（CTO）を提案し、クラウド支援を求めるタイミングとクラウドサービスをいつ提供するかを決定します。
広範な実験は、提案されたOCPがナビゲーション時間と成功率の両方の観点から既存の方法を上回ることを示しています。

要約(オリジナル)

Navigating autonomous vehicles in open scenarios is a challenge due to the difficulties in handling unseen objects. Existing solutions either rely on small models that struggle with generalization or large models that are resource-intensive. While collaboration between the two offers a promising solution, the key challenge is deciding when and how to engage the large model. To address this issue, this paper proposes opportunistic collaborative planning (OCP), which seamlessly integrates efficient local models with powerful cloud models through two key innovations. First, we propose large vision model guided model predictive control (LVM-MPC), which leverages the cloud for LVM perception and decision making. The cloud output serves as a global guidance for a local MPC, thereby forming a closed-loop perception-to-control system. Second, to determine the best timing for large model query and service, we propose collaboration timing optimization (CTO), including object detection confidence thresholding (ODCT) and cloud forward simulation (CFS), to decide when to seek cloud assistance and when to offer cloud service. Extensive experiments show that the proposed OCP outperforms existing methods in terms of both navigation time and success rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google