Multi-Object Manipulation via Object-Centric Neural Scattering Functions

要約

学習された視覚ダイナミクス モデルは、ロボット操作タスクに効果的であることが証明されています。
しかし、複数のオブジェクトの相互作用を含むシーンを表現する最適な方法は依然として不明です。
現在の方法はシーンを個別のオブジェクトに分解しますが、特定の照明に関連付けられた外観のみをエンコードするため、困難な照明条件の中で正確なモデリングと操作に苦労します。
この研究では、モデル予測制御フレームワークにおけるオブジェクト表現としてオブジェクト中心の神経散乱関数 (OSF) を使用することを提案します。
OSF はオブジェクトごとのライトトランスポートをモデル化し、オブジェクトの再配置やさまざまな照明条件下での合成シーンの再レンダリングを可能にします。
このアプローチを逆パラメータ推定およびグラフベースのニューラル ダイナミクス モデルと組み合わせることで、これまで見たことのないシナリオや厳しい照明条件であっても、構成的なマルチオブジェクト環境におけるモデル予測制御パフォーマンスの向上と一般化を実証します。

要約(オリジナル)

Learned visual dynamics models have proven effective for robotic manipulation tasks. Yet, it remains unclear how best to represent scenes involving multi-object interactions. Current methods decompose a scene into discrete objects, but they struggle with precise modeling and manipulation amid challenging lighting conditions as they only encode appearance tied with specific illuminations. In this work, we propose using object-centric neural scattering functions (OSFs) as object representations in a model-predictive control framework. OSFs model per-object light transport, enabling compositional scene re-rendering under object rearrangement and varying lighting conditions. By combining this approach with inverse parameter estimation and graph-based neural dynamics models, we demonstrate improved model-predictive control performance and generalization in compositional multi-object environments, even in previously unseen scenarios and harsh lighting conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google