Unifying Foundation Models with Quadrotor Control for Visual Tracking Beyond Object Categories

要約

視覚的な制御により、クワッドローターはリアルタイムの感覚データを使用して適応的にナビゲートし、認識と行動を橋渡しすることができます。
しかし、シナリオ全体の一般化、信頼性の維持、リアルタイム応答性の確保などの課題は依然として残っています。
このペーパーでは、特定のトレーニング カテゴリを超えて、普遍的な物体検出と追跡のための基礎モデルに基づいた認識フレームワークを紹介します。
私たちのアプローチに不可欠なのは、基礎検出器と統合された多層トラッカーで、モーション ブラー、突然の光の変化、遮蔽に直面した場合でも、継続的なターゲットの可視性を確保します。
これを補完するために、弾力性のあるクアローター視覚追跡用に調整されたモデルフリー コントローラーを導入します。
当社のシステムは、オンボードカメラと慣性測定ユニットのみに依存し、限られたハードウェアで効率的に動作します。
屋内および屋外のさまざまな困難な環境における広範な検証を通じて、当社のシステムの有効性と適応性を実証します。
結論として、私たちの研究はクアローター視覚追跡における一歩前進を表し、タスク固有の方法からより多用途で適応性のある操作に移行しています。

要約(オリジナル)

Visual control enables quadrotors to adaptively navigate using real-time sensory data, bridging perception with action. Yet, challenges persist, including generalization across scenarios, maintaining reliability, and ensuring real-time responsiveness. This paper introduces a perception framework grounded in foundation models for universal object detection and tracking, moving beyond specific training categories. Integral to our approach is a multi-layered tracker integrated with the foundation detector, ensuring continuous target visibility, even when faced with motion blur, abrupt light shifts, and occlusions. Complementing this, we introduce a model-free controller tailored for resilient quadrotor visual tracking. Our system operates efficiently on limited hardware, relying solely on an onboard camera and an inertial measurement unit. Through extensive validation in diverse challenging indoor and outdoor environments, we demonstrate our system’s effectiveness and adaptability. In conclusion, our research represents a step forward in quadrotor visual tracking, moving from task-specific methods to more versatile and adaptable operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google