GridFormer: Point-Grid Transformer for Surface Reconstruction

要約

陰的ニューラルネットワークは、3D曲面再構成において重要な技術として浮上してきた。離散的な点群から連続的な曲面を再構成するために、入力点を規則的なグリッド特徴（平面または体積）に符号化することが、既存のアプローチで一般的に採用されてきた。しかし、これらの手法では、一様に散乱する点特徴のインデックスとしてグリッドを用いるのが一般的である。不規則な点特徴に比べて、規則的な格子特徴は再構成の詳細を犠牲にする可能性があるが、効率は向上する。この2種類の特徴をフルに活用するために、我々はグリッドと点特徴との間に、点-グリッド変換器（Point-Grid Transformer: GridFormer）と名付けられた、新規かつ高効率な注目メカニズムを導入する。この機構は、グリッドを空間と点群をつなぐ伝達点として扱う。我々の手法は、グリッド特徴の空間的表現力を最大化し、計算効率を維持する。さらに、空間全体にわたって予測を最適化すると、境界が不鮮明になる可能性がある。この問題に対処するため、我々はさらに、マージン2値クロスエントロピー損失と境界サンプリングを組み込んだ境界最適化戦略を提案する。このアプローチにより、物体構造をより正確に表現することが可能となる。我々の実験は、我々の手法が効果的であり、より正確な形状再構成を生成することで、広く使用されているベンチマークの下で最先端のアプローチを凌駕することを検証する。コードはhttps://github.com/list17/GridFormer。

要約(オリジナル)

Implicit neural networks have emerged as a crucial technology in 3D surface reconstruction. To reconstruct continuous surfaces from discrete point clouds, encoding the input points into regular grid features (plane or volume) has been commonly employed in existing approaches. However, these methods typically use the grid as an index for uniformly scattering point features. Compared with the irregular point features, the regular grid features may sacrifice some reconstruction details but improve efficiency. To take full advantage of these two types of features, we introduce a novel and high-efficiency attention mechanism between the grid and point features named Point-Grid Transformer (GridFormer). This mechanism treats the grid as a transfer point connecting the space and point cloud. Our method maximizes the spatial expressiveness of grid features and maintains computational efficiency. Furthermore, optimizing predictions over the entire space could potentially result in blurred boundaries. To address this issue, we further propose a boundary optimization strategy incorporating margin binary cross-entropy loss and boundary sampling. This approach enables us to achieve a more precise representation of the object structure. Our experiments validate that our method is effective and outperforms the state-of-the-art approaches under widely used benchmarks by producing more precise geometry reconstructions. The code is available at https://github.com/list17/GridFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL