Lifelong LERF: Local 3D Semantic Inventory Monitoring Using FogROS2

要約

家庭、工場、小売店の在庫監視は、オブジェクトが交換、追加、削除、または移動された場合でもデータを維持することに依存しています。
私たちは、最小限のコンピューティングを備えたモバイル ロボットが高密度の言語と周囲の幾何学的表現を共同で最適化できる方法である Lifelong LERF を紹介します。
ライフロング LERF は、セマンティックの変更を検出し、環境のこれらの領域を選択的に更新することで、この表現を長期にわたって維持し、徹底的に再マップする必要性を回避します。
人間のユーザーは、自然言語クエリを提供し、潜在的なオブジェクトの場所の 3D ヒートマップを受け取ることによって、インベントリをクエリできます。
計算負荷を管理するために、クラウド ロボティクス プラットフォームである Fog-ROS2 を使用して、リソースを大量に消費するタスクをオフロードします。
Lifelong LERF は、単眼 RGBD SLAM バックエンドからポーズを取得し、これらのポーズを使用して、セマンティック モニタリング用の言語埋め込み放射フィールド (LERF) を段階的に最適化します。
テーブル上に配置された 3 ～ 5 個のオブジェクトと RealSense カメラを備えた Turtlebot を使った実験では、Lifelong LERF がオブジェクトの変化に最大 91% の精度で永続的に適応できることが示唆されています。

要約(オリジナル)

Inventory monitoring in homes, factories, and retail stores relies on maintaining data despite objects being swapped, added, removed, or moved. We introduce Lifelong LERF, a method that allows a mobile robot with minimal compute to jointly optimize a dense language and geometric representation of its surroundings. Lifelong LERF maintains this representation over time by detecting semantic changes and selectively updating these regions of the environment, avoiding the need to exhaustively remap. Human users can query inventory by providing natural language queries and receiving a 3D heatmap of potential object locations. To manage the computational load, we use Fog-ROS2, a cloud robotics platform, to offload resource-intensive tasks. Lifelong LERF obtains poses from a monocular RGBD SLAM backend, and uses these poses to progressively optimize a Language Embedded Radiance Field (LERF) for semantic monitoring. Experiments with 3-5 objects arranged on a tabletop and a Turtlebot with a RealSense camera suggest that Lifelong LERF can persistently adapt to changes in objects with up to 91% accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google