T4DT: Tensorizing Time for Learning Temporal 3D Visual Data

要約

2次元のラスター画像とは異なり、3次元のビジュアルデータ処理には単一の支配的な表現が存在しない。点群、メッシュ、陰関数のような異なるフォーマットがそれぞれ長所と短所を持っている。しかし、符号付き距離関数のようなグリッド表現は、3次元でも魅力的な特性を持っています。特に、一定時間のランダムアクセスが可能であり、最新の機械学習に非常に適している。しかし、グリッドのストレージサイズは、その次元に応じて指数関数的に増大する。そのため、中程度の解像度であっても、メモリの限界を超えることが多い。本研究では、タッカー、テンソルトレイン、量子テンソルトレインなどの低ランクテンソル形式を用いて、時間変化する3次元データの圧縮を行うことを提案する。本手法は、各フレームの符号付き距離関数を反復計算、ボクセル化、圧縮し、テンソルランク切断を適用して、すべてのフレームを4Dシーン全体を表す単一の圧縮テンソルに凝縮するものである。我々は、低ランクテンソル圧縮が、時間的に変化する符号付き距離関数の保存と問い合わせに極めてコンパクトであることを示す。これは、4Dシーンの幾何学的品質を顕著に維持しながら、メモリフットプリントを大幅に削減する。DeepSDFやNeRFのような既存の反復学習ベースのアプローチとは異なり、我々の方法は理論的保証のある閉形式のアルゴリズムを用いる。

要約(オリジナル)

Unlike 2D raster images, there is no single dominant representation for 3D visual data processing. Different formats like point clouds, meshes, or implicit functions each have their strengths and weaknesses. Still, grid representations such as signed distance functions have attractive properties also in 3D. In particular, they offer constant-time random access and are eminently suitable for modern machine learning. Unfortunately, the storage size of a grid grows exponentially with its dimension. Hence they often exceed memory limits even at moderate resolution. This work proposes using low-rank tensor formats, including the Tucker, tensor train, and quantics tensor train decompositions, to compress time-varying 3D data. Our method iteratively computes, voxelizes, and compresses each frame’s truncated signed distance function and applies tensor rank truncation to condense all frames into a single, compressed tensor that represents the entire 4D scene. We show that low-rank tensor compression is extremely compact to store and query time-varying signed distance functions. It significantly reduces the memory footprint of 4D scenes while remarkably preserving their geometric quality. Unlike existing, iterative learning-based approaches like DeepSDF and NeRF, our method uses a closed-form algorithm with theoretical guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL