TULIP: Transformer for Upsampling of LiDAR Point Clouds

要約

LiDARのアップサンプリングは、ロボットや自律走行車の知覚システムにとって困難な課題である。最近の研究では、LiDARデータを3次元ユークリッド空間から2次元画像空間の画像超解像問題に変換することでこの問題を解決することが提案されています。これらの手法は、きめ細かいディテールを持つ高解像度のレンジ画像を生成することができるが、結果として得られる3D点群はディテールをぼかし、無効な点を予測することが多い。本論文では、低解像度のLiDAR入力から高解像度のLiDAR点群を再構成する新しい手法であるTULIPを提案する。また、レンジ画像ベースのアプローチに従うが、レンジ画像の特性により良く適合するように、Swin-Transformerベースのネットワークのパッチとウィンドウの形状を特に変更する。我々は3つの公開実世界データセットとシミュレーションデータセットを用いていくつかの実験を行った。TULIPは、全ての関連指標において最先端の手法を凌駕し、先行研究よりもロバストでリアルな点群を生成する。

要約(オリジナル)

LiDAR Upsampling is a challenging task for the perception systems of robots and autonomous vehicles, due to the sparse and irregular structure of large-scale scene contexts. Recent works propose to solve this problem by converting LiDAR data from 3D Euclidean space into an image super-resolution problem in 2D image space. Although their methods can generate high-resolution range images with fine-grained details, the resulting 3D point clouds often blur out details and predict invalid points. In this paper, we propose TULIP, a new method to reconstruct high-resolution LiDAR point clouds from low-resolution LiDAR input. We also follow a range image-based approach but specifically modify the patch and window geometries of a Swin-Transformer-based network to better fit the characteristics of range images. We conducted several experiments on three public real-world and simulated datasets. TULIP outperforms state-of-the-art methods in all relevant metrics and generates robust and more realistic point clouds than prior works.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL