NIFT: Neural Interaction Field and Template for Object Manipulation

要約

NIFT、Neural Interaction Field、および Template を導入します。これは、オブジェクト操作の記述的で堅牢な相互作用表現であり、模倣学習を容易にします。
いくつかのオブジェクト操作のデモが与えられた場合、NIFT は、新しいオブジェクトに対して定義されたターゲット ニューラル インタラクション フィールド (NIF) 内のデモから抽出されたニューラル インタラクション テンプレート (NIT) を照合することによって、新しいオブジェクト インスタンスの相互作用模倣の生成をガイドします。
具体的には、NIF は、各空間ポイントと特定のオブジェクトとの間の関係をエンコードするニューラル フィールドです。相対位置は、従来のニューラル フィールドで一般的に採用されている占有率や符号付き距離ではなく、球面距離関数によって定義されますが、情報量は少なくなります。
.
特定のデモ インタラクションに対して、対応する NIT は、デモ NIF でサンプリングされた一連の空間ポイントと関連するニューラル機能によって定義されます。
相互作用をより適切に捉えるために、相互作用二等分面 (IBS) でポイントがサンプリングされます。これは、相互作用する 2 つのオブジェクトから等距離にあるポイントで構成され、相互作用の表現に広く使用されています。
より良いインタラクション エンコーディングのために定義されたポイント選択とポイントごとの機能の両方を使用して、NIT は新しいオブジェクト インスタンスの NIF でフィーチャ マッチングを効果的にガイドし、デモのインタラクションを模倣しながら操作を実現するために相対的なポーズが最適化されるようにします。
実験は、NIFT ソリューションがオブジェクト操作のための最先端の模倣学習方法よりも優れており、新しいカテゴリのオブジェクトによりよく一般化することを示しています。

要約(オリジナル)

We introduce NIFT, Neural Interaction Field and Template, a descriptive and robust interaction representation of object manipulations to facilitate imitation learning. Given a few object manipulation demos, NIFT guides the generation of the interaction imitation for a new object instance by matching the Neural Interaction Template (NIT) extracted from the demos in the target Neural Interaction Field (NIF) defined for the new object. Specifically, the NIF is a neural field that encodes the relationship between each spatial point and a given object, where the relative position is defined by a spherical distance function rather than occupancies or signed distances, which are commonly adopted by conventional neural fields but less informative. For a given demo interaction, the corresponding NIT is defined by a set of spatial points sampled in the demo NIF with associated neural features. To better capture the interaction, the points are sampled on the Interaction Bisector Surface (IBS), which consists of points that are equidistant to the two interacting objects and has been used extensively for interaction representation. With both point selection and pointwise features defined for better interaction encoding, NIT effectively guides the feature matching in the NIFs of the new object instances such that the relative poses are optimized to realize the manipulation while imitating the demo interactions. Experiments show that our NIFT solution outperforms state-of-the-art imitation learning methods for object manipulation and generalizes better to objects from new categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google