Gradient-based Maximally Interfered Retrieval for Domain Incremental 3D Object Detection

要約

タイトル：Gradient-based Maximally Interfered Retrieval for Domain Incremental 3D Object Detection

要約：

– あらゆる気象条件下での精度の高い3Dオブジェクト検出は、自律走行車の広範な展開を可能にするために重要な課題の1つである。
– これまでの多くの研究は晴天のデータに基づいて行われており、逆境下の汎用性を実現するには、すべての気象データで学習を行うことが最適である。
– しかしながら、すべてのデータからのスクラッチ学習は、データセットが成長し、可能な気象条件の範囲を包括するようになると、計算上不可能であり、コストが高くなる。
– 一方、異なる気象ドメインのデータで単純なファインチューニングを行うと、以前に学習したドメインの忘却が重大な問題となる。
– 本研究では、リプレイベースの連続学習方法の成功にインスパイアされ、Gradient-based Maximally Interfered Retrieval（GMIR）を提案する。GMIRは、リプレイのための勾配ベースのサンプリング戦略であり、ファインチューニング中に、現在の更新の勾配ベクトルと最大の干渉を示す勾配ベクトルを持つ以前のドメインデータセットからサンプルを定期的に取得する。
– SeeingThroughFog（STF）データセット上の3Dオブジェクト検出実験により、GMIRは忘却を克服するだけでなく、すべてのデータでのスクラッチトレーニングと競合するパフォーマンスを提供し、トータルトレーニング時間を46.25％削減する。

要約(オリジナル)

Accurate 3D object detection in all weather conditions remains a key challenge to enable the widespread deployment of autonomous vehicles, as most work to date has been performed on clear weather data. In order to generalize to adverse weather conditions, supervised methods perform best if trained from scratch on all weather data instead of finetuning a model pretrained on clear weather data. Training from scratch on all data will eventually become computationally infeasible and expensive as datasets continue to grow and encompass the full extent of possible weather conditions. On the other hand, naive finetuning on data from a different weather domain can result in catastrophic forgetting of the previously learned domain. Inspired by the success of replay-based continual learning methods, we propose Gradient-based Maximally Interfered Retrieval (GMIR), a gradient based sampling strategy for replay. During finetuning, GMIR periodically retrieves samples from the previous domain dataset whose gradient vectors show maximal interference with the gradient vector of the current update. Our 3D object detection experiments on the SeeingThroughFog (STF) dataset show that GMIR not only overcomes forgetting but also offers competitive performance compared to scratch training on all data with a 46.25% reduction in total training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI