T-UDA: Temporal Unsupervised Domain Adaptation in Sequential Point Clouds

要約

深層知覚モデルは、さまざまな地理的領域、センサーの特性、取り付け位置、およびその他のいくつかの理由によって引き起こされるドメインシフトのオープンワールド設定に確実に対処する必要があります。
アノテーション付きデータですべてのドメインをカバーすることは無限の可能性があるため技術的に扱いにくいため、研究者は、ある (ソース) ドメインでトレーニングされたモデルを、アノテーションが付けられていない別の (ターゲット) ドメインで利用可能なアノテーションを使用して適応させる教師なしドメイン適応 (UDA) 手法に焦点を当てています。
データは利用可能です。
現在の主流の方法は、教師と生徒のセットアップなどの半教師ありアプローチを活用するか、他のセンサー モダリティや時間的データの一貫性などの特権データを利用するかのいずれかです。
両方の傾向の長所を活用した、新しいドメイン適応方法を紹介します。
私たちのアプローチは、入力データの時間的およびセンサー間の幾何学的一貫性を平均教師法と組み合わせます。
「時間的 UDA」を意味する T-UDA と呼ばれるこのような組み合わせは、運転シーンの 3D セマンティック セグメンテーションのタスクで大幅なパフォーマンスの向上をもたらします。
実験は、Cylinder3D と MinkowskiNet という 2 つの人気のある 3D 点群アーキテクチャに対して、Waymo Open Dataset、nuScenes、および SemanticKITTI で行われます。
私たちのコードは https://github.com/ctu-vras/T-UDA で公開されています。

要約(オリジナル)

Deep perception models have to reliably cope with an open-world setting of domain shifts induced by different geographic regions, sensor properties, mounting positions, and several other reasons. Since covering all domains with annotated data is technically intractable due to the endless possible variations, researchers focus on unsupervised domain adaptation (UDA) methods that adapt models trained on one (source) domain with annotations available to another (target) domain for which only unannotated data are available. Current predominant methods either leverage semi-supervised approaches, e.g., teacher-student setup, or exploit privileged data, such as other sensor modalities or temporal data consistency. We introduce a novel domain adaptation method that leverages the best of both trends. Our approach combines input data’s temporal and cross-sensor geometric consistency with the mean teacher method. Dubbed T-UDA for ‘temporal UDA’, such a combination yields massive performance gains for the task of 3D semantic segmentation of driving scenes. Experiments are conducted on Waymo Open Dataset, nuScenes and SemanticKITTI, for two popular 3D point cloud architectures, Cylinder3D and MinkowskiNet. Our codes are publicly available at https://github.com/ctu-vras/T-UDA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google