ATLASv2: LLM-Guided Adaptive Landmark Acquisition and Navigation on the Edge

要約

エッジデバイスに展開された自律システムは、リソースの制約、リアルタイム処理の需要、動的環境への適応など、大きな課題に直面しています。
この作業では、微調整されたTinyLLM、リアルタイムオブジェクト検出、および効率的なパス計画を統合して、エッジデバイスであるJetson Nanoで階層的、マルチタスクナビゲーション、操作を可能にするための効率的なパス計画であるATLASV2を紹介します。
ATLASV2は、将来のタスク実行に使用される内部知識ベースに保存されている環境内のオブジェクトを検出およびローカライズすることにより、ナビゲーション可能なランドマークを動的に拡張します。
私たちは、多様なオブジェクトとランドマークで構築された手作りの家とオフィスの設定を含む、実際の環境でATLASV2を評価します。
結果は、ATLASV2が自然言語の指示を効果的に解釈し、それらを低レベルのアクションに分解し、高い成功率でタスクを実行することを示しています。
完全にオンボードフレームワークで生成AIを活用することにより、ATLASV2は最小限のプロンプトレイテンシと消費電力で最適化されたリソース利用を実現し、シミュレートされた環境と現実世界のアプリケーションの間のギャップを埋めます。

要約(オリジナル)

Autonomous systems deployed on edge devices face significant challenges, including resource constraints, real-time processing demands, and adapting to dynamic environments. This work introduces ATLASv2, a novel system that integrates a fine-tuned TinyLLM, real-time object detection, and efficient path planning to enable hierarchical, multi-task navigation and manipulation all on the edge device, Jetson Nano. ATLASv2 dynamically expands its navigable landmarks by detecting and localizing objects in the environment which are saved to its internal knowledge base to be used for future task execution. We evaluate ATLASv2 in real-world environments, including a handcrafted home and office setting constructed with diverse objects and landmarks. Results show that ATLASv2 effectively interprets natural language instructions, decomposes them into low-level actions, and executes tasks with high success rates. By leveraging generative AI in a fully on-board framework, ATLASv2 achieves optimized resource utilization with minimal prompting latency and power consumption, bridging the gap between simulated environments and real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google