3D VSG: Long-term Semantic Scene Change Prediction through 3D Variable Scene Graphs

要約

多くのアプリケーションでは、ロボットが人間や他のロボットなどの他のエージェントと共有される環境で動作する必要があります。
ただし、このような共有シーンは、通常、さまざまな種類の長期的なセマンティック シーンの変化の影響を受けます。
したがって、このような変化をモデル化して予測する能力は、ロボットの自律性にとって非常に重要です。
この作業では、セマンティック シーンの変動性推定のタスクを形式化し、セマンティック シーンの変化の 3 つの主要な種類を識別します: オブジェクトの位置の変化、そのセマンティック状態、またはシーン全体の構成。
この変動性を表すために、可変シーン グラフ (VSG) を提案します。これは、既存の 3D シーン グラフ (SG) 表現を変動性属性で補強し、個別の長期変化イベントの可能性を表します。
教師あり方法で VSG の変動性を推定する新しい方法、DeltaVSG を提案します。
3RScan 長期データセットでこの方法を評価し、既存のアプローチに対するこの新しいタスクの顕著な改善を示します。
私たちの方法 DeltaVSG は、72.2% の精度と 66.8% の再現率を達成し、多くの場合、屋内シーンが時間の経過とともにどのように変化するかについての人間の直感を模倣します。
さらに、アクティブなロボットの変化検出のタスクにおける VSG 予測の有用性を示し、シーンの変化を認識しないプランナーと比較して、タスクの完了を 62.4% 高速化します。
コードをオープンソースとして利用できるようにします。

要約(オリジナル)

Numerous applications require robots to operate in environments shared with other agents such as humans or other robots. However, such shared scenes are typically subject to different kinds of long-term semantic scene changes. The ability to model and predict such changes is thus crucial for robot autonomy. In this work, we formalize the task of semantic scene variability estimation and identify three main varieties of semantic scene change: changes in the position of an object, its semantic state, or the composition of a scene as a whole. To represent this variability, we propose the Variable Scene Graph (VSG), which augments existing 3D Scene Graph (SG) representations with the variability attribute, representing the likelihood of discrete long-term change events. We present a novel method, DeltaVSG, to estimate the variability of VSGs in a supervised fashion. We evaluate our method on the 3RScan long-term dataset, showing notable improvements in this novel task over existing approaches. Our method DeltaVSG achieves a precision of 72.2% and recall of 66.8%, often mimicking human intuition about how indoor scenes change over time. We further show the utility of VSG predictions in the task of active robotic change detection, speeding up task completion by 62.4% compared to a scene-change-unaware planner. We make our code available as open-source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google