MGNet: Monocular Geometric Scene Understanding for Autonomous Driving

要約

単眼の幾何学的シーンを理解するためのマルチタスクフレームワークであるMGNetを紹介します。
単眼の幾何学的シーンの理解は、2つの既知のタスクの組み合わせとして定義されます：パノプティコンセグメンテーションと自己監視単眼深度推定。
パノプティコンセグメンテーションは、セマンティックだけでなく、インスタンスベースでもシーン全体をキャプチャします。
自己監視型単眼深度推定では、単眼ビデオシーケンスのみから深度を測定するために、カメラ測定モデルから導出された幾何学的制約を使用します。
私たちの知る限りでは、これら2つのタスクを1つのモデルに組み合わせることを最初に提案しました。
私たちのモデルは、単一のコンシューマーグレードのGPUでリアルタイムに高速な推論を提供するために、低レイテンシーに重点を置いて設計されています。
展開中に、モデルは単一の高解像度カメラ画像からインスタンス対応のセマンティックラベルを使用して高密度の3Dポイントクラウドを生成します。
モデルを2つの一般的な自動運転ベンチマーク、つまりCityscapesとKITTIで評価し、他のリアルタイム対応メソッドの中で競争力のあるパフォーマンスを示します。
ソースコードはhttps://github.com/markusschoen/MGNetで入手できます。

要約(オリジナル)

We introduce MGNet, a multi-task framework for monocular geometric scene understanding. We define monocular geometric scene understanding as the combination of two known tasks: Panoptic segmentation and self-supervised monocular depth estimation. Panoptic segmentation captures the full scene not only semantically, but also on an instance basis. Self-supervised monocular depth estimation uses geometric constraints derived from the camera measurement model in order to measure depth from monocular video sequences only. To the best of our knowledge, we are the first to propose the combination of these two tasks in one single model. Our model is designed with focus on low latency to provide fast inference in real-time on a single consumer-grade GPU. During deployment, our model produces dense 3D point clouds with instance aware semantic labels from single high-resolution camera images. We evaluate our model on two popular autonomous driving benchmarks, i.e., Cityscapes and KITTI, and show competitive performance among other real-time capable methods. Source code is available at https://github.com/markusschoen/MGNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google