Neural Neural Textures Make Sim2Real Consistent

要約

対になっていない画像変換アルゴリズムはsim2realタスクに使用できますが、多くは時間的に一貫した結果を生成できません。
微分可能なレンダリングと画像変換を組み合わせて、表面の一貫性の損失と\ emph {ニューラルニューラルテクスチャ}を使用して、無期限のタイムスケールで時間の一貫性を実現する新しいアプローチを紹介します。
このアルゴリズムをTRITON（テクスチャ回復画像変換ネットワーク）と呼びます。これは、教師なし、エンドツーエンド、ステートレスのsim2realアルゴリズムであり、リアルな外観の学習可能なニューラルテクスチャを生成することにより、入力シーンの基礎となる3Dジオメトリを活用します。
シーン内のオブジェクトの特定のテクスチャを決定することにより、フレーム間の一貫性をステートレスに保証します。
以前のアルゴリズムとは異なり、TRITONはカメラの動きに限定されていません。オブジェクトの動きも処理できるため、ロボット操作などのダウンストリームタスクに役立ちます。

要約(オリジナル)

Unpaired image translation algorithms can be used for sim2real tasks, but many fail to generate temporally consistent results. We present a new approach that combines differentiable rendering with image translation to achieve temporal consistency over indefinite timescales, using surface consistency losses and \emph{neural neural textures}. We call this algorithm TRITON (Texture Recovering Image Translation Network): an unsupervised, end-to-end, stateless sim2real algorithm that leverages the underlying 3D geometry of input scenes by generating realistic-looking learnable neural textures. By settling on a particular texture for the objects in a scene, we ensure consistency between frames statelessly. Unlike previous algorithms, TRITON is not limited to camera movements — it can handle the movement of objects as well, making it useful for downstream tasks such as robotic manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google