Neural Style Transfer for Computer Games

要約

ニューラル スタイル トランスファー (NST) の研究は、画像、ビデオ、3D メッシュ、放射フィールドに適用されていますが、3D コンピューター ゲームへの応用は比較的未開発のままです。
画像およびビデオ NST システムはコンピュータ ゲームの後処理効果として使用できますが、その結果、望ましくないアーティファクトが発生し、後処理効果が低下します。
ここでは、3D レンダリング パイプラインの一部として深度認識 NST を挿入するアプローチを紹介します。
ゲーム内の様式化フレームワークを検証するために、定性的および定量的な実験が使用されます。
私たちは、芸術的に様式化されたゲーム シーンの時間的に一貫した結果を実証し、最先端の画像およびビデオ NST 手法を上回ります。

要約(オリジナル)

Neural Style Transfer (NST) research has been applied to images, videos, 3D meshes and radiance fields, but its application to 3D computer games remains relatively unexplored. Whilst image and video NST systems can be used as a post-processing effect for a computer game, this results in undesired artefacts and diminished post-processing effects. Here, we present an approach for injecting depth-aware NST as part of the 3D rendering pipeline. Qualitative and quantitative experiments are used to validate our in-game stylisation framework. We demonstrate temporally consistent results of artistically stylised game scenes, outperforming state-of-the-art image and video NST methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google