Semantic Layering in Room Segmentation via LLMs

要約

このペーパーでは、ラージ言語モデル (LLM) と従来の 2D マップベースのセグメンテーションを統合することによるセマンティック部屋セグメンテーションの高度な方法である、LLM による部屋セグメンテーションにおけるセマンティック レイヤリング (SeLRoS) を紹介します。
屋内環境の幾何学的セグメンテーションのみに焦点を当てたこれまでのアプローチとは異なり、私たちの研究では、オブジェクトの識別や空間的関係を含むセマンティック データでセグメント化されたマップを強化し、ロボット ナビゲーションを強化します。
LLM を活用することで、セグメント化された各エリアに関する複雑な情報を解釈して整理する新しいフレームワークを提供し、それによって部屋のセグメント化の精度とコンテキストの関連性が向上します。
さらに、SeLRoS は、セマンティック評価手法を使用して、家具やセグメンテーションの不正確さによって誤って生成された部屋の分割と、実際の部屋の分割を正確に区別することにより、既存のアルゴリズムの制限を克服します。
SeLRoS の有効性は、30 の異なる 3D 環境にわたるアプリケーションを通じて検証されています。
この作業のソース コードと実験ビデオは、https://sites.google.com/view/selros から入手できます。

要約(オリジナル)

In this paper, we introduce Semantic Layering in Room Segmentation via LLMs (SeLRoS), an advanced method for semantic room segmentation by integrating Large Language Models (LLMs) with traditional 2D map-based segmentation. Unlike previous approaches that solely focus on the geometric segmentation of indoor environments, our work enriches segmented maps with semantic data, including object identification and spatial relationships, to enhance robotic navigation. By leveraging LLMs, we provide a novel framework that interprets and organizes complex information about each segmented area, thereby improving the accuracy and contextual relevance of room segmentation. Furthermore, SeLRoS overcomes the limitations of existing algorithms by using a semantic evaluation method to accurately distinguish true room divisions from those erroneously generated by furniture and segmentation inaccuracies. The effectiveness of SeLRoS is verified through its application across 30 different 3D environments. Source code and experiment videos for this work are available at: https://sites.google.com/view/selros.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google