A Novel Light Field Coding Scheme Based on Deep Belief Network & Weighted Binary Images for Additive Layered Displays

要約

タイトル：深層信念ネットワークと重み付きバイナリ画像に基づく新しい光場符号化方式によるアディティブ層状ディスプレイ

要約：
– 光場表示は、両眼視差感覚と運動視差を提供することで没入体験を創出する。
– 光減衰層を積み重ねることで、広い被写界深度、広い視野角、高解像度を持つ光場表示を実現する方法がある。
– 透明ホログラフィック光学素子（HOE）の層数が増加することで、ARウェアラブルにアディティブ層状表示を統合し、仮想物体を実世界に重ね合わせることができる。これによりシームレスなXR体験が創出される。
– この論文は、アディティブ層状ディスプレイ向けの重み付きバイナリ画像とDeep Belief Network（DBN）を利用する、光場表現と符号化のための新しいフレームワークを提案する。
– 層の重み付きバイナリ表現により、可変ビットレート符号化に柔軟に対応できるようになった。
– このフレームワークは、光場データの本質的な冗長性を効果的に捉え、XR表示アプリケーションに適したスケーラブルな光場符号化ソリューションを提供する。レイテントコードはH.265コーデックによってエンコードされ、レートスケーラブルなビットストリームを生成する。
– 最適な再構成品質を維持しながら、重み付きバイナリ画像の数とH.265量子化パラメータを変化させることにより、可変ビットレート復号を達成する。
– このフレームワークは、実際のベンチマークデータセットや合成データセットでテストされ、提案されたスキームのレートスケーラブルプロパティを検証した結果が得られた。

要約(オリジナル)

Light-field displays create an immersive experience by providing binocular depth sensation and motion parallax. Stacking light attenuating layers is one approach to implement a light field display with a broader depth of field, wide viewing angles and high resolution. Due to the transparent holographic optical element (HOE) layers, additive layered displays can be integrated into augmented reality (AR) wearables to overlay virtual objects onto the real world, creating a seamless mixed reality (XR) experience. This paper proposes a novel framework for light field representation and coding that utilizes Deep Belief Network (DBN) and weighted binary images suitable for additive layered displays. The weighted binary representation of layers makes the framework more flexible for adaptive bitrate encoding. The framework effectively captures intrinsic redundancies in the light field data, and thus provides a scalable solution for light field coding suitable for XR display applications. The latent code is encoded by H.265 codec generating a rate-scalable bit-stream. We achieve adaptive bitrate decoding by varying the number of weighted binary images and the H.265 quantization parameter, while maintaining an optimal reconstruction quality. The framework is tested on real and synthetic benchmark datasets, and the results validate the rate-scalable property of the proposed scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI