SceneScore: Learning a Cost Function for Object Arrangement

要約

オブジェクトを正しく配置することは、幅広い有用なタスクを可能にするロボットの重要な機能です。
成功した取り決めを作成するための前提条件は、特定の取り決めの望ましさを評価できることです。
私たちのメソッド「SceneScore」は、望ましい人間らしいアレンジメントのコストが低くなるように、アレンジメントのコスト関数を学習します。
私たちは、エネルギーベースのモデルを使用して、環境との相互作用や人間の監視を必要とせず、サンプル画像のみからオフラインでトレーニング配置の分布を学習します。
私たちのモデルは、画像から構築されたグラフを使用してオブジェクト間の関係を学習するグラフ ニューラル ネットワークによって表されます。
実験では、学習されたコスト関数を使用して、欠落しているオブジェクトのポーズを予測したり、セマンティック特徴を使用して新しいオブジェクトに一般化したり、推論時に制約を満たすために他のコスト関数と組み合わせたりできることが実証されています。

要約(オリジナル)

Arranging objects correctly is a key capability for robots which unlocks a wide range of useful tasks. A prerequisite for creating successful arrangements is the ability to evaluate the desirability of a given arrangement. Our method ‘SceneScore’ learns a cost function for arrangements, such that desirable, human-like arrangements have a low cost. We learn the distribution of training arrangements offline using an energy-based model, solely from example images without requiring environment interaction or human supervision. Our model is represented by a graph neural network which learns object-object relations, using graphs constructed from images. Experiments demonstrate that the learned cost function can be used to predict poses for missing objects, generalise to novel objects using semantic features, and can be composed with other cost functions to satisfy constraints at inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google