TexLiDAR: Automated Text Understanding for Panoramic LiDAR Data

要約

LiDARデータをLidarClipなどのテキストに接続する努力は、主に3Dポイントクラウドをクリップテキストイメージスペースに埋め込むことに焦点を当てています。
ただし、これらのアプローチは3Dポイントクラウドに依存しており、効率とニューラルネットワーク処理のエンコードに課題があります。
3Dポイントクラウドに加えて、固定解像度の深さ、信号、および周囲のパノラマ2D画像を生成するOuster OS1などの高度なLidarセンサーの出現により、LIDARベースのタスクに新しい機会が現れます。
この作業では、3Dポイントクラウドの代わりにOS1センサーによって生成された2D画像を活用することにより、LIDARデータをテキストに接続する代替アプローチを提案します。
ゼロショット設定でフィレンツェ2の大きなモデルを使用して、画像キャプションとオブジェクトの検出を実行します。
私たちの実験は、Florence 2がより有益なキャプションを生成し、Clipなどの既存の方法と比較してオブジェクト検出タスクで優れたパフォーマンスを達成することを示しています。
高度なLidarセンサーデータと大規模な事前訓練モデルを組み合わせることにより、当社のアプローチは、高精度と堅牢性を必要とするリアルタイムアプリケーションなど、挑戦的な検出シナリオの堅牢で正確なソリューションを提供します。

要約(オリジナル)

Efforts to connect LiDAR data with text, such as LidarCLIP, have primarily focused on embedding 3D point clouds into CLIP text-image space. However, these approaches rely on 3D point clouds, which present challenges in encoding efficiency and neural network processing. With the advent of advanced LiDAR sensors like Ouster OS1, which, in addition to 3D point clouds, produce fixed resolution depth, signal, and ambient panoramic 2D images, new opportunities emerge for LiDAR based tasks. In this work, we propose an alternative approach to connect LiDAR data with text by leveraging 2D imagery generated by the OS1 sensor instead of 3D point clouds. Using the Florence 2 large model in a zero-shot setting, we perform image captioning and object detection. Our experiments demonstrate that Florence 2 generates more informative captions and achieves superior performance in object detection tasks compared to existing methods like CLIP. By combining advanced LiDAR sensor data with a large pre-trained model, our approach provides a robust and accurate solution for challenging detection scenarios, including real-time applications requiring high accuracy and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google