Scaling Face Interaction Graph Networks to Real World Scenes

要約

現実世界のオブジェクトのダイナミクスを正確にシミュレートすることは、ロボット工学、エンジニアリング、グラフィックス、デザインなどのさまざまなアプリケーションにとって不可欠です。
接触や摩擦などの複雑な実際のダイナミクスをより適切に捉えるために、グラフ ネットワークに基づく学習済みシミュレーターが最近大きな期待を集めています。
ただし、これらの学習済みシミュレーターを実際のシーンに適用するには、2 つの大きな課題が伴います。1 つは、複雑な 3D 形状を持つ数百のオブジェクトが含まれる可能性がある現実世界のシーンの複雑さに対処するために学習済みシミュレーターをスケーリングすること、2 つ目は、3D ではなく知覚からの入力を処理することです。
状態情報。
ここでは、グラフベースの学習済みシミュレーターの実行に必要なメモリを大幅に削減する方法を紹介します。
このメモリ効率の高いシミュレーション モデルに基づいて、現実世界のシーンをグラフ ネットワーク シミュレーターで処理できる構造化表現に変換できる編集可能な NeRF の形式で知覚インターフェイスを提示します。
私たちの方法は、精度を維持しながら以前のグラフベースのシミュレーターよりも使用するメモリが大幅に少ないこと、および合成環境で学習されたシミュレーターが複数のカメラアングルからキャプチャされた現実世界のシーンに適用できることを示します。
これにより、学習済みシミュレーターの適用を、推論時に知覚情報のみが利用可能な設定に拡張する道が開かれます。

要約(オリジナル)

Accurately simulating real world object dynamics is essential for various applications such as robotics, engineering, graphics, and design. To better capture complex real dynamics such as contact and friction, learned simulators based on graph networks have recently shown great promise. However, applying these learned simulators to real scenes comes with two major challenges: first, scaling learned simulators to handle the complexity of real world scenes which can involve hundreds of objects each with complicated 3D shapes, and second, handling inputs from perception rather than 3D state information. Here we introduce a method which substantially reduces the memory required to run graph-based learned simulators. Based on this memory-efficient simulation model, we then present a perceptual interface in the form of editable NeRFs which can convert real-world scenes into a structured representation that can be processed by graph network simulator. We show that our method uses substantially less memory than previous graph-based simulators while retaining their accuracy, and that the simulators learned in synthetic environments can be applied to real world scenes captured from multiple camera angles. This paves the way for expanding the application of learned simulators to settings where only perceptual information is available at inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google