ResVR: Joint Rescaling and Viewport Rendering of Omnidirectional Images

要約

仮想現実技術の出現により、高画質を維持しながら送信および保存されるファイル サイズを削減するために、全方向画像 (ODI) 再スケーリング技術がますます採用されています。
この進歩にもかかわらず、現在の ODI 再スケーリング手法は主に正距円筒図法 (ERP) 形式の画像の品質を向上させることに焦点を当てており、ヘッド マウント ディスプレイ (HMD) で表示されるコンテンツが実際には ERP 画像ではなくレンダリングされたビューポートであるという事実が見落とされています。
この取り組みでは、ERP の品質のみに焦点を当てると、ユーザーのビューポートの視覚エクスペリエンスが劣ることになることを強調します。
したがって、私たちは、ODI の再スケーリングとビューポート レンダリングを統合するための最初の包括的なフレームワークである ResVR を提案します。
ResVR を使用すると、ユーザーが HMD で視聴できるように高品質のビューポートをレンダリングしながら、送信用の LR ERP 画像を取得できます。
当社の ResVR では、ビューポートと ERP の間の複雑なマッピングに取り組むために、新しい離散ピクセル サンプリング戦略が開発され、ResVR パイプラインのエンドツーエンドのトレーニングが可能になります。
さらに、球面ピクセル形状表現技術は球面微分から革新的に導き出され、レンダリングされたビューポートの視覚的品質を大幅に向上させます。
広範な実験により、当社の ResVR は、低い伝送オーバーヘッドを維持しながら、さまざまな視野、解像度、ビュー方向にわたってビューポート レンダリング タスクにおいて既存の方法よりも優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

With the advent of virtual reality technology, omnidirectional image (ODI) rescaling techniques are increasingly embraced for reducing transmitted and stored file sizes while preserving high image quality. Despite this progress, current ODI rescaling methods predominantly focus on enhancing the quality of images in equirectangular projection (ERP) format, which overlooks the fact that the content viewed on head mounted displays (HMDs) is actually a rendered viewport instead of an ERP image. In this work, we emphasize that focusing solely on ERP quality results in inferior viewport visual experiences for users. Thus, we propose ResVR, which is the first comprehensive framework for the joint Rescaling and Viewport Rendering of ODIs. ResVR allows obtaining LR ERP images for transmission while rendering high-quality viewports for users to watch on HMDs. In our ResVR, a novel discrete pixel sampling strategy is developed to tackle the complex mapping between the viewport and ERP, enabling end-to-end training of ResVR pipeline. Furthermore, a spherical pixel shape representation technique is innovatively derived from spherical differentiation to significantly improve the visual quality of rendered viewports. Extensive experiments demonstrate that our ResVR outperforms existing methods in viewport rendering tasks across different fields of view, resolutions, and view directions while keeping a low transmission overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google