Polygon Intersection-over-Union Loss for Viewpoint-Agnostic Monocular 3D Vehicle Detection

要約

2D 画像から奥行き情報を取得するのは難しいため、単眼での 3D オブジェクトの検出は困難な作業です。
視点に依存しない単眼 3D 検出手法のサブセットも、トレーニング中にシーン ホモグラフィーやジオメトリを明示的に利用しません。つまり、このようにトレーニングされたモデルは、任意の視点から画像内のオブジェクトを検出できます。
このような作業では、画像平面上の 3D バウンディング ボックスの投影を予測して 3D ボックスの位置を推定しますが、これらの投影は長方形ではないため、これらの投影されたポリゴン間の IoU の計算は単純ではありません。
この研究では、2 つの凸多角形間の IoU を計算するための効率的で完全に微分可能なアルゴリズムを提案します。このアルゴリズムは、任意の角度から見た 2 つの 3D バウンディング ボックス フットプリント間の IoU を計算するために利用できます。
提案されたポリゴン IoU 損失 (PIoU 損失) のパフォーマンスを、3 つの最先端の視点に依存しない 3D 検出モデルでテストします。
実験では、提案された PIoU 損失が L1 損失よりも早く収束すること、および 3D 検出モデルでは、PIoU 損失と L1 損失の組み合わせが L1 損失単独よりも良い結果が得られることを示しています (車の MonoCon では +1.64% AP70、RTM3D では +0.18% AP70)
車では+0.83%/+2.46% AP50/AP25、自転車ではMonoRCNN）。

要約(オリジナル)

Monocular 3D object detection is a challenging task because depth information is difficult to obtain from 2D images. A subset of viewpoint-agnostic monocular 3D detection methods also do not explicitly leverage scene homography or geometry during training, meaning that a model trained thusly can detect objects in images from arbitrary viewpoints. Such works predict the projections of the 3D bounding boxes on the image plane to estimate the location of the 3D boxes, but these projections are not rectangular so the calculation of IoU between these projected polygons is not straightforward. This work proposes an efficient, fully differentiable algorithm for the calculation of IoU between two convex polygons, which can be utilized to compute the IoU between two 3D bounding box footprints viewed from an arbitrary angle. We test the performance of the proposed polygon IoU loss (PIoU loss) on three state-of-the-art viewpoint-agnostic 3D detection models. Experiments demonstrate that the proposed PIoU loss converges faster than L1 loss and that in 3D detection models, a combination of PIoU loss and L1 loss gives better results than L1 loss alone (+1.64% AP70 for MonoCon on cars, +0.18% AP70 for RTM3D on cars, and +0.83%/+2.46% AP50/AP25 for MonoRCNN on cyclists).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google