Re-examining Distillation For Continual Object Detection

要約

モデルを継続的にトレーニングして、新しいクラスや新しいドメインからオブジェクトを検出および分類することは、未解決の問題のままです。
この作業では、オブジェクト検出モデルが壊滅的に忘れる理由と方法を徹底的に分析します。
2段階ネットワークにおける蒸留ベースのアプローチに焦点を当てています。
現代の継続的なオブジェクト検出作業で採用されている最も一般的な戦略.蒸留は、新しいタスクを学習しながら、以前のタスクでトレーニングされたモデル (教師) の知識を新しいモデル (学生) に転送することを目的としています。
これが領域提案ネットワークではうまく機能することを示しますが、教師の予測が間違っていても自信過剰であるため、学生モデルが分類頭を効果的に学習することが妨げられます。
私たちの分析は、現在のグラウンド トゥルース ラベルに基づいて誤った教師の予測を検出し、分類ヘッドの蒸留損失の平均二乗誤差とは対照的に適応フーバー損失を採用することにより、既存の手法の改善を提案できる基盤を提供します。
.
私たちの戦略は、クラスの増分設定だけでなく、代表的な現実世界の問題の設定である可能性が高い、現実的なコンテキストを構成するドメインの増分設定でも機能することを証明します。

要約(オリジナル)

Training models continually to detect and classify objects, from new classes and new domains, remains an open problem. In this work, we conduct a thorough analysis of why and how object detection models forget catastrophically. We focus on distillation-based approaches in two-stage networks; the most-common strategy employed in contemporary continual object detection work.Distillation aims to transfer the knowledge of a model trained on previous tasks — the teacher — to a new model — the student — while it learns the new task. We show that this works well for the region proposal network, but that wrong, yet overly confident teacher predictions prevent student models from effective learning of the classification head. Our analysis provides a foundation that allows us to propose improvements for existing techniques by detecting incorrect teacher predictions, based on current ground-truth labels, and by employing an adaptive Huber loss as opposed to the mean squared error for the distillation loss in the classification heads. We evidence that our strategy works not only in a class incremental setting, but also in domain incremental settings, which constitute a realistic context, likely to be the setting of representative real-world problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google