PARSEC: Preference Adaptation for Robotic Object Rearrangement from Scene Context

要約

オブジェクトの再配置は、明示的な指示なしにパーソナライズを必要とする家庭用ロボットの重要なタスク、オブジェクトで占められている環境での意味のあるオブジェクトの配置、および目に見えないオブジェクトと新しい環境への一般化です。
これらの課題に対処する研究を促進するために、観測されたシーンコンテキストからユーザー組織の好みを学習するためのオブジェクト再配置ベンチマークであるParsecを導入し、部分的に配置された環境にオブジェクトを配置します。
Parsecは、93のオブジェクトカテゴリと15の環境を備えた72人のユーザーからクラウドソーシングされた110kの再配置例の新しいデータセットの上に構築されています。
また、複数の有効な配置を説明しながら、以前および現在のシーンコンテキストからユーザーの好みに合わせてオブジェクトを配置するLLMベースの再配置モデルであるContextSortLMも提案します。
ParsecベンチマークでContextsORTLMおよび既存のパーソナライズされた再配置アプローチを評価し、ユーザーの好みとのアラインメントに基づいて108人のオンライン評価者ランキングモデル予測のクラウドソーシング評価でこれらの調査結果を補完します。
私たちの結果は、複数のシーンコンテキストソースを活用するパーソナライズされた再配置モデルが、単一のコンテキストソースに依存するモデルよりもパフォーマンスが高いことを示しています。
さらに、ContextSortlmは、オンライン評価者によって評価されているように、ターゲットユーザーの配置と3つの環境カテゴリすべての上位2つのランクを複製するオブジェクトを配置する他のモデルを上回ります。
重要なことに、私たちの評価は、さまざまな環境カテゴリにわたるモデリング環境セマンティクスに関連する課題を強調し、将来の作業に関する推奨事項を提供します。

要約(オリジナル)

Object rearrangement is a key task for household robots requiring personalization without explicit instructions, meaningful object placement in environments occupied with objects, and generalization to unseen objects and new environments. To facilitate research addressing these challenges, we introduce PARSEC, an object rearrangement benchmark for learning user organizational preferences from observed scene context to place objects in a partially arranged environment. PARSEC is built upon a novel dataset of 110K rearrangement examples crowdsourced from 72 users, featuring 93 object categories and 15 environments. We also propose ContextSortLM, an LLM-based rearrangement model that places objects in partially arranged environments by adapting to user preferences from prior and current scene context while accounting for multiple valid placements. We evaluate ContextSortLM and existing personalized rearrangement approaches on the PARSEC benchmark and complement these findings with a crowdsourced evaluation of 108 online raters ranking model predictions based on alignment with user preferences. Our results indicate that personalized rearrangement models leveraging multiple scene context sources perform better than models relying on a single context source. Moreover, ContextSortLM outperforms other models in placing objects to replicate the target user’s arrangement and ranks among the top two in all three environment categories, as rated by online evaluators. Importantly, our evaluation highlights challenges associated with modeling environment semantics across different environment categories and provides recommendations for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google