LLM-enhanced Scene Graph Learning for Household Rearrangement

要約

家事の再配置タスクには、シーン内で置き忘れられた物体を見つけて、それらを適切な場所に収容することが含まれます。
それは客観的な面では常識的な知識、主観的な面では人間のユーザーの好みの両方に依存します。
このようなタスクを達成するために、人間の介入に依存せずに、シーン自体から直接ユーザーの好みの調整を使用してオブジェクトの機能をマイニングすることを提案します。
これを行うために、シーン グラフ表現を使用し、入力シーン グラフを情報強化ノードと新たに発見されたエッジ (関係) を備えたアフォーダンス強化グラフ (AEG) に変換する LLM 強化シーン グラフ学習を提案します。
AEG では、レセプタクル オブジェクトに対応するノードは、その上にどのような種類の持ち運び可能なオブジェクトを配置できるかをコード化するコンテキスト誘導アフォーダンスで強化されます。
新たに発見された非局所関係により、新たなエッジが発見される。
AEG を使用すると、置き忘れられた運搬物を検出し、それぞれの適切な配置を決定することで、シーンの再配置のためのタスク計画を実行します。
シミュレーターに潮汐ロボットを実装することでメソッドをテストし、構築した新しいベンチマークで評価を実行します。
広範な評価により、私たちの方法が、置き間違いの検出とその後の再配置計画に関して最先端のパフォーマンスを達成していることが実証されています。

要約(オリジナル)

The household rearrangement task involves spotting misplaced objects in a scene and accommodate them with proper places. It depends both on common-sense knowledge on the objective side and human user preference on the subjective side. In achieving such task, we propose to mine object functionality with user preference alignment directly from the scene itself, without relying on human intervention. To do so, we work with scene graph representation and propose LLM-enhanced scene graph learning which transforms the input scene graph into an affordance-enhanced graph (AEG) with information-enhanced nodes and newly discovered edges (relations). In AEG, the nodes corresponding to the receptacle objects are augmented with context-induced affordance which encodes what kind of carriable objects can be placed on it. New edges are discovered with newly discovered non-local relations. With AEG, we perform task planning for scene rearrangement by detecting misplaced carriables and determining a proper placement for each of them. We test our method by implementing a tiding robot in simulator and perform evaluation on a new benchmark we build. Extensive evaluations demonstrate that our method achieves state-of-the-art performance on misplacement detection and the following rearrangement planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google