‘Set It Up!’: Functional Object Arrangement with Compositional Generative Models

要約

このペーパーでは、「2人用のダイニングテーブルをセットアップする」などの機能的なオブジェクトの配置を作成するための不足している指示を理解できるロボットを開発できるという課題について説明します。
以前の配置アプローチは、「オブジェクトをテーブルに置く」など、はるかに明確な指示に焦点を当てています。
不足している指示を解釈することを学ぶためのフレームワーク、Setitupを紹介します。
Setitupは、特定のシーンタイプの配置ルールを明らかにするために、少数のトレーニング例と人間が作成したプログラムスケッチを取ります。
オブジェクト間の抽象的な空間関係の中間グラフのような表現を活用することにより、Setitupは配置の問題を2つのサブ問題に分解します。i）限られたデータからの配置パターンの学習とii）これらの抽象的な関係をオブジェクトポーズに接地します。
Setitupは、大規模な言語モデル（LLM）を活用して、制約が満たされるように、新しいシーンのオブジェクト間の抽象的な空間的関係を提案します。
次に、これらの抽象的な関係に関連付けられた拡散モデルのライブラリを構成して、制約を満たすオブジェクトポーズを見つけます。
調査デスク、ダイニングテーブル、コーヒーテーブルで構成されるデータセットのフレームワークを検証し、結果は、既存のモデルと比較して、身体的にもっともらしい、機能的で審美的に楽しいオブジェクトの配置を生成する際の優れた性能を示しています。

要約(オリジナル)

This paper studies the challenge of developing robots capable of understanding under-specified instructions for creating functional object arrangements, such as ‘set up a dining table for two’; previous arrangement approaches have focused on much more explicit instructions, such as ‘put object A on the table.’ We introduce a framework, SetItUp, for learning to interpret under-specified instructions. SetItUp takes a small number of training examples and a human-crafted program sketch to uncover arrangement rules for specific scene types. By leveraging an intermediate graph-like representation of abstract spatial relationships among objects, SetItUp decomposes the arrangement problem into two subproblems: i) learning the arrangement patterns from limited data and ii) grounding these abstract relationships into object poses. SetItUp leverages large language models (LLMs) to propose the abstract spatial relationships among objects in novel scenes as the constraints to be satisfied; then, it composes a library of diffusion models associated with these abstract relationships to find object poses that satisfy the constraints. We validate our framework on a dataset comprising study desks, dining tables, and coffee tables, with the results showing superior performance in generating physically plausible, functional, and aesthetically pleasing object arrangements compared to existing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google