Virtual Occlusions Through Implicit Depth

要約

タイトル: 暗黙的な深度による仮想遮蔽

要約:
– 拡張現実（AR）において、仮想要素が現実世界の物体と一緒になっているように見えることが重要です。
– 仮想要素は、現実の物質によって遮蔽されるべきであり、また遮蔽しなければならないものであり、それらは適切な深度順序に基づいて表示される必要があります。
– 残念ながら、推定されたシーンの深度に小さな間違いがあると、その後の遮蔽マスクが破壊され、ARの幻想が壊れることがあります。
– 特にリアルタイムの設定では、境界付近や時間を超えて推定された深度は一貫性がない可能性があります。
– この論文では、中間ステップとしての深度回帰の必要性に挑戦します。
– 代わりに、深度に対して暗黙的なモデルを提案し、それを直接遮蔽マスクの予測に使用します。
– ネットワークへの入力は1枚または複数のカラー画像と、仮想ジオメトリの既知の深度です。
– 従来の深度推定モデルから予測された遮蔽の予測よりも、私たちの遮蔽の予測がより正確で、時間的にも安定していることを示します。
– 課題であるScanNetv2データセットで最先端の遮蔽結果を、実際のシーンでは優れた定性的結果を得られるようになります。

要約(オリジナル)

For augmented reality (AR), it is important that virtual assets appear to `sit among’ real world objects. The virtual element should variously occlude and be occluded by real matter, based on a plausible depth ordering. This occlusion should be consistent over time as the viewer’s camera moves. Unfortunately, small mistakes in the estimated scene depth can ruin the downstream occlusion mask, and thereby the AR illusion. Especially in real-time settings, depths inferred near boundaries or across time can be inconsistent. In this paper, we challenge the need for depth-regression as an intermediate step. We instead propose an implicit model for depth and use that to predict the occlusion mask directly. The inputs to our network are one or more color images, plus the known depths of any virtual geometry. We show how our occlusion predictions are more accurate and more temporally stable than predictions derived from traditional depth-estimation models. We obtain state-of-the-art occlusion results on the challenging ScanNetv2 dataset and superior qualitative results on real scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI