KITTI-360: A Novel Dataset and Benchmarks for Urban Scene Understanding in 2D and 3D

要約

過去数十年の間、コンピュータービジョン、グラフィックス、ロボット工学を含む人工知能のいくつかの主要なサブフィールドは、互いにほとんど独立して進歩してきました。
しかし、最近、コミュニティは、自動運転車などの堅牢なインテリジェントシステムに向けた進歩には、さまざまな分野にわたる協調的な取り組みが必要であることに気づきました。
これにより、人気のあるKITTIデータセットの後継であるKITTI-360を開発することになりました。
KITTI-360は、より豊富な入力モダリティ、包括的なセマンティックインスタンスの注釈、および視覚、グラフィックス、ロボット工学の交差点での研究を容易にする正確なローカリゼーションで構成される郊外の運転データセットです。
効率的なアノテーションのために、バウンディングプリミティブで3Dシーンにラベルを付けるツールを作成し、この情報を2D画像ドメインに転送するモデルを開発しました。
さらに、モバイル知覚に関連するいくつかのタスクのベンチマークとベースラインを確立しました。これには、同じデータセット上のコンピュータービジョン、グラフィックス、ロボット工学の問題が含まれます。たとえば、セマンティックシーンの理解、新しいビューの合成、セマンティックSLAMなどです。
KITTI-360は、これらの研究分野の交差点での進歩を可能にし、今日の大きな課題の1つである完全自律型自動運転システムの開発に貢献します。

要約(オリジナル)

For the last few decades, several major subfields of artificial intelligence including computer vision, graphics, and robotics have progressed largely independently from each other. Recently, however, the community has realized that progress towards robust intelligent systems such as self-driving cars requires a concerted effort across the different fields. This motivated us to develop KITTI-360, successor of the popular KITTI dataset. KITTI-360 is a suburban driving dataset which comprises richer input modalities, comprehensive semantic instance annotations and accurate localization to facilitate research at the intersection of vision, graphics and robotics. For efficient annotation, we created a tool to label 3D scenes with bounding primitives and developed a model that transfers this information into the 2D image domain, resulting in over 150k images and 1B 3D points with coherent semantic instance annotations across 2D and 3D. Moreover, we established benchmarks and baselines for several tasks relevant to mobile perception, encompassing problems from computer vision, graphics, and robotics on the same dataset, e.g., semantic scene understanding, novel view synthesis and semantic SLAM. KITTI-360 will enable progress at the intersection of these research areas and thus contribute towards solving one of today’s grand challenges: the development of fully autonomous self-driving systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google