LEGO-Net: Learning Regular Rearrangements of Objects in Rooms

要約

人間は、散らかった部屋を片付ける作業を一般的に嫌います。
機械がこの作業を手伝ってくれるとすれば、機械は、いくつかのタイプの対称性、共直線性または共円形性、直線または円形パターンにおける間隔の均一性、関連するオブジェクト間の関係など、規則的な配置に対する人間の基準を理解する必要があります。
スタイルと機能性に。
このタスクに対する以前のアプローチは、目標状態を明示的に指定するか、シーンをゼロから合成するために人間の入力に依存していました。
この論文では、散らかった部屋でのオブジェクトの定期的な再配置を学習するための、データ駆動型の変換器ベースの反復法である LEGO-Net を紹介します。
LEGO-Net は、部分的に拡散モデルに着想を得ています。初期の乱雑な状態から始まり、移動距離を短縮しながら、オブジェクトの位置と向きを通常の状態に繰り返し「ノイズ除去」します。
専門的に配置されたシーンの既存のデータセットでランダムに摂動されたオブジェクトの位置と向きを考えると、私たちの方法は定期的な再配置を回復するように訓練されています。
結果は、私たちの方法が部屋のシーンを確実に再配置し、他の方法よりも優れていることを示しています。
さらに、数論的機械を使用して部屋の配置の規則性を評価するためのメトリックを提案します。

要約(オリジナル)

Humans universally dislike the task of cleaning up a messy room. If machines were to help us with this task, they must understand human criteria for regular arrangements, such as several types of symmetry, co-linearity or co-circularity, spacing uniformity in linear or circular patterns, and further inter-object relationships that relate to style and functionality. Previous approaches for this task relied on human input to explicitly specify goal state, or synthesized scenes from scratch — but such methods do not address the rearrangement of existing messy scenes without providing a goal state. In this paper, we present LEGO-Net, a data-driven transformer-based iterative method for learning regular rearrangement of objects in messy rooms. LEGO-Net is partly inspired by diffusion models — it starts with an initial messy state and iteratively ‘de-noises” the position and orientation of objects to a regular state while reducing the distance traveled. Given randomly perturbed object positions and orientations in an existing dataset of professionally-arranged scenes, our method is trained to recover a regular re-arrangement. Results demonstrate that our method is able to reliably rearrange room scenes and outperform other methods. We additionally propose a metric for evaluating regularity in room arrangements using number-theoretic machinery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google