RayFronts: Open-Set Semantic Ray Frontiers for Online Scene Understanding and Exploration

要約

オープンワールドロボットにとって、オープンセットセマンティックマッピングが重要です。
現在のマッピングアプローチは、深さ範囲によって制限されているか、制約された設定にマップを超えたエンティティのみが制限されます。
さらに、これらの方法は、きめ細かいセマンティクスと効率の間のトレードオフを行います。
Rayfrontsを紹介します。レイフロントは、密集したものとレンジを超えた効率的なセマンティックマッピングの両方を可能にする統一された表現を紹介します。
Rayfrontsは、タスクに依存しないオープンセットセマンティクスを、地図の境界でエンコードされた範囲内のボクセルとベインドレンジの光線の両方にエンコードし、ロボットが検索量を大幅に削減し、Orin AGXで8.84 Hzで実行しながら、感覚範囲内および感覚範囲内および感覚範囲の両方で情報に基づいた決定を下すことができます。
ベンチマークの範囲内セマンティクスは、Rayfrontsのきめ細かい画像エンコードが1.34x Zero-Shot 3Dセマンティックセグメンテーションパフォーマンスを提供しながら、スループットを16.5倍に改善することを示しています。
従来、オンラインマッピングパフォーマンスは他のシステムコンポーネントに絡み合っており、評価を複雑にしています。
オンラインを超えたレンジを超えた検索と探索のユーティリティをキャプチャするプランナーと依存の評価フレームワークを提案し、Rayfrontsが最も近いオンラインベースラインよりも効率的に検索ボリューム2.2倍を削減することを示唆しています。

要約(オリジナル)

Open-set semantic mapping is crucial for open-world robots. Current mapping approaches either are limited by the depth range or only map beyond-range entities in constrained settings, where overall they fail to combine within-range and beyond-range observations. Furthermore, these methods make a trade-off between fine-grained semantics and efficiency. We introduce RayFronts, a unified representation that enables both dense and beyond-range efficient semantic mapping. RayFronts encodes task-agnostic open-set semantics to both in-range voxels and beyond-range rays encoded at map boundaries, empowering the robot to reduce search volumes significantly and make informed decisions both within & beyond sensory range, while running at 8.84 Hz on an Orin AGX. Benchmarking the within-range semantics shows that RayFronts’s fine-grained image encoding provides 1.34x zero-shot 3D semantic segmentation performance while improving throughput by 16.5x. Traditionally, online mapping performance is entangled with other system components, complicating evaluation. We propose a planner-agnostic evaluation framework that captures the utility for online beyond-range search and exploration, and show RayFronts reduces search volume 2.2x more efficiently than the closest online baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google