VolTeMorph: Realtime, Controllable and Generalisable Animation of Volumetric Representations

要約

シーンの再構成と新しいビューの合成のためのボリューム表現の人気が最近高まっているため、ボリューム コンテンツを高品質かつリアルタイムでアニメーション化することに新たな焦点が当てられています。
学習された関数に基づく暗黙的な変形方法は印象的な結果を生み出すことができますが、アーティストやコンテンツ作成者にとっては「ブラック ボックス」であり、意味のある一般化には大量のトレーニング データが必要であり、トレーニング データの外部で現実的な外挿を生成しません。
この作業では、リアルタイムで市販のソフトウェアで簡単に編集でき、説得力のある外挿が可能なボリューム変形方法を導入することで、これらの問題を解決します。
この方法の汎用性を実証するために、物理ベースのオブジェクトの変形と、ブレンドシェイプを使用してアバターを制御するテレプレゼンスの 2 つのシナリオに適用します。
また、完全な実験を行って、この方法が陰的変形と組み合わせた体積測定アプローチとメッシュ変形に基づく方法の両方に匹敵することを示しています。

要約(オリジナル)

The recent increase in popularity of volumetric representations for scene reconstruction and novel view synthesis has put renewed focus on animating volumetric content at high visual quality and in real-time. While implicit deformation methods based on learned functions can produce impressive results, they are `black boxes’ to artists and content creators, they require large amounts of training data to generalise meaningfully, and they do not produce realistic extrapolations outside the training data. In this work we solve these issues by introducing a volume deformation method which is real-time, easy to edit with off-the-shelf software and can extrapolate convincingly. To demonstrate the versatility of our method, we apply it in two scenarios: physics-based object deformation and telepresence where avatars are controlled using blendshapes. We also perform thorough experiments showing that our method compares favourably to both volumetric approaches combined with implicit deformation and methods based on mesh deformation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google