Commonsense Scene Graph-based Target Localization for Object Search

要約

物体検索は家庭用ロボットの基本的なスキルですが、中心的な問題は、ロボットが目標物体を正確に見つける能力にあります。
ユーザーによる日用品の恣意的な配置を特徴とする家庭環境の動的な性質により、ターゲットの位置特定を実行することが困難になります。
ターゲットオブジェクトを効率的に見つけるには、ロボットがオブジェクトレベルと部屋レベルの両方の知識を備えている必要があります。
しかし、既存のアプローチは 1 種類の知識のみに依存しているため、オブジェクト位置特定のパフォーマンスが不十分になり、その結果、オブジェクト検索プロセスが非効率になります。
この問題に対処するために、家庭環境におけるターゲットオブジェクトの検索を強化するために、常識的なシーングラフベースのターゲット位置特定、CSG-TLを提案します。
固定アイテムを含む事前に構築されたマップが与えられると、ロボットは部屋レベルの知識を、大規模言語モデル (LLM) によって生成されたオブジェクト レベルの常識知識で常識シーン グラフ (CSG) にモデル化し、CSG の両方のタイプの知識をサポートします。
TL。
ターゲット位置特定における CSG-TL の優位性を実証するために、現実世界の ScanNet データセットと AI2THOR シミュレーターで広範な実験が実行されました。
さらに、CSG-TL をオブジェクト検索フレームワークである CSG-OS に拡張し、シミュレーション環境と現実世界の両方の環境で検証されました。
コードとビデオは https://sites.google.com/view/csg-os で入手できます。

要約(オリジナル)

Object search is a fundamental skill for household robots, yet the core problem lies in the robot’s ability to locate the target object accurately. The dynamic nature of household environments, characterized by the arbitrary placement of daily objects by users, makes it challenging to perform target localization. To efficiently locate the target object, the robot needs to be equipped with knowledge at both the object and room level. However, existing approaches rely solely on one type of knowledge, leading to unsatisfactory object localization performance and, consequently, inefficient object search processes. To address this problem, we propose a commonsense scene graph-based target localization, CSG-TL, to enhance target object search in the household environment. Given the pre-built map with stationary items, the robot models the room-level knowledge with object-level commonsense knowledge generated by a large language model (LLM) to a commonsense scene graph (CSG), supporting both types of knowledge for CSG-TL. To demonstrate the superiority of CSG-TL on target localization, extensive experiments are performed on the real-world ScanNet dataset and the AI2THOR simulator. Moreover, we have extended CSG-TL to an object search framework, CSG-OS, validated in both simulated and real-world environments. Code and videos are available at https://sites.google.com/view/csg-os.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google