Coarse-To-Fine Tensor Trains for Compact Visual Representations

要約

ビジュアル データのコンパクトで高品質、最適化が容易な表現を学習する機能は、新規ビューの合成や 3D 再構成などの多くのアプリケーションにとって最も重要です。
最近の研究では、テンソル ネットワークを使用してこのようなコンパクトで高品質な表現を設計することに大きな成功を収めています。
ただし、テンソルベースの表現、特に非常にコンパクトなテンソル トレイン表現を最適化する機能はまだ不足しています。
このため、実務者はビジュアル データにテンソル ネットワークの可能性を最大限に活用することができませんでした。
この目的を達成するために、我々は、粗い方法から細かい方法でテンソル トレイン表現を学習するための新しい方法である「Prolongation Upsampling Tensor Train (PuTT)」を提案します。
私たちの方法には、学習されたテンソル トレイン表現の延長または「アップサンプリング」が含まれ、段階的に洗練される「粗いものから細かいものへ」の一連のテンソル トレインが作成されます。
私たちは次の 3 つの軸に沿って表現を評価します: (1)。
圧縮、(2)。
ノイズ除去機能、および (3)。
画像補完機能。
これらの軸を評価するために、画像フィッティング、3D フィッティング、および新しいビュー合成のタスクを考慮します。この場合、私たちの方法は、最先端のテンソルベースの方法と比較してパフォーマンスが向上しています。
完全な結果については、プロジェクトの Web ページを参照してください: https://sebulo.github.io/PuTT_website/

要約(オリジナル)

The ability to learn compact, high-quality, and easy-to-optimize representations for visual data is paramount to many applications such as novel view synthesis and 3D reconstruction. Recent work has shown substantial success in using tensor networks to design such compact and high-quality representations. However, the ability to optimize tensor-based representations, and in particular, the highly compact tensor train representation, is still lacking. This has prevented practitioners from deploying the full potential of tensor networks for visual data. To this end, we propose ‘Prolongation Upsampling Tensor Train (PuTT)’, a novel method for learning tensor train representations in a coarse-to-fine manner. Our method involves the prolonging or `upsampling’ of a learned tensor train representation, creating a sequence of ‘coarse-to-fine’ tensor trains that are incrementally refined. We evaluate our representation along three axes: (1). compression, (2). denoising capability, and (3). image completion capability. To assess these axes, we consider the tasks of image fitting, 3D fitting, and novel view synthesis, where our method shows an improved performance compared to state-of-the-art tensor-based methods. For full results see our project webpage: https://sebulo.github.io/PuTT_website/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google