SPOTS: Stable Placement of Objects with Reasoning in Semi-Autonomous Teleoperation Systems

要約

ピックアンドプレイスはロボット研究における基本的なタスクの 1 つです。
しかし、注目は主に「選ぶ」タスクに集中しており、「配置する」タスクは比較的未解明のままです。
この論文では、遠隔操作フレームワークのコンテキスト内にオブジェクトを配置する問題に取り組みます。
特に、配置タスクの 2 つの側面、つまり安定性の堅牢性とオブジェクト配置の状況に応じた合理性に焦点を当てます。
私たちが提案する方法は、実際のシミュレーションによるシミュレーション駆動の物理的安定性検証と、大規模な言語モデルの意味論的推論機能を組み合わせたものです。
言い換えれば、場所コンテキスト情報（ユーザーの好み、場所へのオブジェクト、現在のシーン情報など）が与えられた場合、私たちの提案方法は、場所タスクの堅牢性と合理性を考慮して、可能な配置候補にわたる確率分布を出力します。
私たちが提案した方法は、2 つのシミュレーション環境と 1 つの現実世界環境で広範囲に評価され、ユーザーの好みを考慮しながら、この方法が配置の物理的な妥当性とコンテキストの健全性を大幅に向上できることを示しました。

要約(オリジナル)

Pick-and-place is one of the fundamental tasks in robotics research. However, the attention has been mostly focused on the “pick” task, leaving the “place” task relatively unexplored. In this paper, we address the problem of placing objects in the context of a teleoperation framework. Particularly, we focus on two aspects of the place task: stability robustness and contextual reasonableness of object placements. Our proposed method combines simulation-driven physical stability verification via real-to-sim and the semantic reasoning capability of large language models. In other words, given place context information (e.g., user preferences, object to place, and current scene information), our proposed method outputs a probability distribution over the possible placement candidates, considering the robustness and reasonableness of the place task. Our proposed method is extensively evaluated in two simulation and one real world environments and we show that our method can greatly increase the physical plausibility of the placement as well as contextual soundness while considering user preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google