Joint Geometry and Attribute Upsampling of Point Clouds Using Frequency-Selective Models with Overlapped Support

要約

AR/VR アプリケーションや自動運転などのために環境を 3 次元でキャプチャする需要が高まる中、高解像度の点群の重要性が高まっています。
キャプチャ プロセスは複雑なタスクであるため、ポイント クラウドのアップサンプリングが必要になることがよくあります。
周波数選択的アップサンプリング (FSU) を提案します。これは、ポイント クラウドのジオメトリと属性情報を、サポート エリアが重なり合うように連続的にアップサンプリングするアップサンプリング スキームです。
ポイント クラウドは、最初にサポート エリアがオーバーラップするブロックに分割されます。
次に、点群の表面を局所的に推定する連続周波数モデルが生成されます。
モデルは、アップサンプリングのために新しい位置でサンプリングされます。
次のステップで、属性信号をモデル化する別の周波数モデルが作成されます。
ここでは、ジオメトリのアップサンプリングからの知識を利用して、2 次元での点の簡略化された投影を行います。
属性モデルは、アップサンプリングされたジオメトリ位置に対して評価されます。
広範な評価では、ジオメトリと属性のアップサンプリングを個別に評価し、結合結果を示します。
ジオメトリの結果は、点と面の誤差と面と面の角度の類似性に関して、提案された FSU の最高のパフォーマンスを示しています。
さらに、FSU は、カラー PSNR に関して、他のカラー アップサンプリング スキームよりも 1.9 dB 優れています。
さらに、FSU を使用すると、点群の視覚的な外観が明らかに向上します。

要約(オリジナル)

With the increasing demand of capturing our environment in three-dimensions for AR/ VR applications and autonomous driving among others, the importance of high-resolution point clouds rises. As the capturing process is a complex task, point cloud upsampling is often desired. We propose Frequency-Selective Upsampling (FSU), an upsampling scheme that upsamples geometry and attribute information of point clouds jointly in a sequential manner with overlapped support areas. The point cloud is partitioned into blocks with overlapping support area first. Then, a continuous frequency model is generated that estimates the point cloud’s surface locally. The model is sampled at new positions for upsampling. In a subsequent step, another frequency model is created that models the attribute signal. Here, knowledge from the geometry upsampling is exploited for a simplified projection of the points in two dimensions. The attribute model is evaluated for the upsampled geometry positions. In our extensive evaluation, we evaluate geometry and attribute upsampling independently and show joint results. The geometry results show best performances for our proposed FSU in terms of point-to-plane error and plane-to-plane angular similarity. Moreover, FSU outperforms other color upsampling schemes by 1.9 dB in terms of color PSNR. In addition, the visual appearance of the point clouds clearly increases with FSU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google