Monocular Depth Estimation for Semi-Transparent Volume Renderings

要約

ニューラルネットワークは、カラー画像から幾何学的情報を抽出することに大きな成功を収めています。
特に、単眼深度推定ネットワークは、実世界のシーンでますます信頼性が高くなっています。
この作業では、このような単眼深度推定ネットワークの半透明ボリュームレンダリング画像への適用性を調査します。
明確に定義された表面のない体積シーンでは深さを定義するのが難しいことで有名なので、実際に出現したさまざまな深さの計算を検討し、さまざまな程度を考慮した評価中に、これらのさまざまな解釈に対する最先端の単眼深さ推定アプローチを比較します
レンダリングの不透明度。
さらに、これらのネットワークを拡張して、色と不透明度の情報をさらに取得し、単一のカラー画像に基づいてシーンの階層化された表現を作成する方法を調査します。
この階層化された表現は、元の入力レンダリングに合成される、空間的に分離された半透明の間隔で構成されます。
私たちの実験では、単眼深度推定への既存のアプローチの適応が、科学的可視化の分野でいくつかのアプリケーションがある半透明のボリュームレンダリングでうまく機能することを示しています。

要約(オリジナル)

Neural networks have shown great success in extracting geometric information from color images. Especially, monocular depth estimation networks are increasingly reliable in real-world scenes. In this work we investigate the applicability of such monocular depth estimation networks to semi-transparent volume rendered images. As depth is notoriously difficult to define in a volumetric scene without clearly defined surfaces, we consider different depth computations that have emerged in practice, and compare state-of-the-art monocular depth estimation approaches for these different interpretations during an evaluation considering different degrees of opacity in the renderings. Additionally, we investigate how these networks can be extended to further obtain color and opacity information, in order to create a layered representation of the scene based on a single color image. This layered representation consists of spatially separated semi-transparent intervals that composite to the original input rendering. In our experiments we show that adaptions of existing approaches to monocular depth estimation perform well on semi-transparent volume renderings, which has several applications in the area of scientific visualization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google