Learning-based Spatial and Angular Information Separation for Light Field Compression

要約

タイトル: ライトフィールド圧縮のための学習ベースの空間と角度の情報の分離

要約:
– ライトフィールドは、シーンから放射された光線を異なる方向から記録することにより、空間的および角度のシーン情報の両方を捕捉する画像データの一種です。
– この文脈で、空間的情報は、視点に関係なく静止した特徴を定義し、角度情報は視点によって異なる特徴を指します。
– 私たちは、ライトフィールドの角度と空間情報を分離できるように設計された画期的なニューラルネットワークを提案しています。
– ネットワークは、すべてのSub-Aperture Images（SAIs）で共有される空間的なカーネルを使用して空間的な情報を表し、各SAIのための角度カーネルのセットを使用して角度情報を表します。
– パラメータ数を増やすことなしに、ネットワークの表現力をさらに改善するために、角度カーネルの割り当てとカーネルテンソル分解メカニズムを導入します。
– 広範な実験により、情報の分離の利点が示されました。圧縮タスクに適用すると、他の最新の方法よりも大幅に優れた性能を発揮します。また、角度情報は、ビューシンセシスタスクの成功した分離とその潜在的なユースケースを示すために、他のシーンに簡単に転送できます。
– 文章の承認時にコードを公開して、このトピックに関するさらなる研究を促進する予定です。

要約(オリジナル)

Light fields are a type of image data that capture both spatial and angular scene information by recording light rays emitted by a scene from different orientations. In this context, spatial information is defined as features that remain static regardless of perspectives, while angular information refers to features that vary between viewpoints. We propose a novel neural network that, by design, can separate angular and spatial information of a light field. The network represents spatial information using spatial kernels shared among all Sub-Aperture Images (SAIs), and angular information using sets of angular kernels for each SAI. To further improve the representation capability of the network without increasing parameter number, we also introduce angular kernel allocation and kernel tensor decomposition mechanisms. Extensive experiments demonstrate the benefits of information separation: when applied to the compression task, our network outperforms other state-of-the-art methods by a large margin. And angular information can be easily transferred to other scenes for rendering dense views, showing the successful separation and the potential use case for the view synthesis task. We plan to release the code upon acceptance of the paper to encourage further research on this topic.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI