OSMa-Bench: Evaluating Open Semantic Mapping Under Varying Lighting Conditions

要約

オープンセマンティックマッピング（OSM）は、セマンティックセグメンテーションとスラムテクニックを組み合わせたロボット認識の重要なテクノロジーです。
このペーパーでは、OSMAベンチ（オープンセマンティックマッピングベンチマーク）と呼ばれるOSMソリューションを評価するための動的に構成可能で高度に自動化されたLLM/LVLM駆動パイプラインを紹介します。
この研究は、さまざまな屋内照明条件の下で最先端のセマンティックマッピングアルゴリズムの評価に焦点を当てています。これは、屋内環境での重大な課題です。
シミュレートされたRGB-Dシーケンスとグラウンドトゥルース3D再構成を備えた新しいデータセットを導入し、さまざまな照明条件にわたるマッピングパフォーマンスの厳密な分析を促進します。
Conceptgraphs、BBQ、Opensceneなどの主要なモデルに関する実験を通じて、オブジェクト認識とセグメンテーションの意味的な忠実度を評価します。
さらに、セマンティック構造を解釈するモデルの能力を分析するシーングラフ評価方法を紹介します。
この結果は、これらのモデルの堅牢性に関する洞察を提供し、回復力のある適応可能なロボットシステムを開発するための将来の研究の方向性を形成します。
私たちのコードは、https：//be2rlab.github.io/osma-bench/で入手できます。

要約(オリジナル)

Open Semantic Mapping (OSM) is a key technology in robotic perception, combining semantic segmentation and SLAM techniques. This paper introduces a dynamically configurable and highly automated LLM/LVLM-powered pipeline for evaluating OSM solutions called OSMa-Bench (Open Semantic Mapping Benchmark). The study focuses on evaluating state-of-the-art semantic mapping algorithms under varying indoor lighting conditions, a critical challenge in indoor environments. We introduce a novel dataset with simulated RGB-D sequences and ground truth 3D reconstructions, facilitating the rigorous analysis of mapping performance across different lighting conditions. Through experiments on leading models such as ConceptGraphs, BBQ and OpenScene, we evaluate the semantic fidelity of object recognition and segmentation. Additionally, we introduce a Scene Graph evaluation method to analyze the ability of models to interpret semantic structure. The results provide insights into the robustness of these models, forming future research directions for developing resilient and adaptable robotic systems. Our code is available at https://be2rlab.github.io/OSMa-Bench/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google