Neural Neural Textures Make Sim2Real Consistent

要約

対になっていない画像変換アルゴリズムを sim2real タスクに使用できますが、多くの場合、時間的に一貫した結果を生成できません。
微分可能なレンダリングと画像変換を組み合わせて、表面の一貫性の損失と \emph{神経ニューラル テクスチャ} を使用して、無期限の時間スケールにわたって時間的な一貫性を実現する新しいアプローチを提示します。
私たちは、このアルゴリズムを TRITON (Texture Recovering Image Translation Network) と呼んでいます。これは、教師なしでエンドツーエンドのステートレス sim2real アルゴリズムであり、リアルな外観の学習可能なニューラル テクスチャを生成することにより、入力シーンの基礎となる 3D ジオメトリを活用します。
シーン内のオブジェクトに特定のテクスチャを設定することで、ステートレスなフレーム間の一貫性を確保します。
以前のアルゴリズムとは異なり、TRITON はカメラの動きに限定されません。オブジェクトの動きも処理できるため、ロボット操作などのダウンストリーム タスクに役立ちます。

要約(オリジナル)

Unpaired image translation algorithms can be used for sim2real tasks, but many fail to generate temporally consistent results. We present a new approach that combines differentiable rendering with image translation to achieve temporal consistency over indefinite timescales, using surface consistency losses and \emph{neural neural textures}. We call this algorithm TRITON (Texture Recovering Image Translation Network): an unsupervised, end-to-end, stateless sim2real algorithm that leverages the underlying 3D geometry of input scenes by generating realistic-looking learnable neural textures. By settling on a particular texture for the objects in a scene, we ensure consistency between frames statelessly. Unlike previous algorithms, TRITON is not limited to camera movements — it can handle the movement of objects as well, making it useful for downstream tasks such as robotic manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google