Real-time Mapping of Physical Scene Properties with an Autonomous Robot Experimenter

要約

ニューラル フィールドをゼロからトレーニングして、3D シーンの形状と外観を効率的に表現できます。
また、人間のラベラーからの疎な相互作用を介して、セマンティクスなどの相関するプロパティを密にマッピングできることも示されています。
この作業では、ロボットがRGB-Dカメラでスキャンとマッピングを同時に行うため、ロボットが独自の完全自律的な実験的相互作用を介して、任意の離散的または連続的な物理的特性を持つシーンに密に注釈を付けることができることを示しています。
剛性を判断するための力感知による突っ込み、単一ピクセル分光法による局所的な材料タイプの測定、押すことによる力の分布の予測など、さまざまなシーンの相互作用が可能です。
まばらな実験的相互作用はエントロピーによって導かれ、高効率を可能にし、卓上シーンのプロパティは、数十の相互作用から数分でゼロから高密度にマッピングされます。

要約(オリジナル)

Neural fields can be trained from scratch to represent the shape and appearance of 3D scenes efficiently. It has also been shown that they can densely map correlated properties such as semantics, via sparse interactions from a human labeller. In this work, we show that a robot can densely annotate a scene with arbitrary discrete or continuous physical properties via its own fully-autonomous experimental interactions, as it simultaneously scans and maps it with an RGB-D camera. A variety of scene interactions are possible, including poking with force sensing to determine rigidity, measuring local material type with single-pixel spectroscopy or predicting force distributions by pushing. Sparse experimental interactions are guided by entropy to enable high efficiency, with tabletop scene properties densely mapped from scratch in a few minutes from a few tens of interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google