Disentangle and Remerge: Interventional Knowledge Distillation for Few-Shot Object Detection from A Conditional Causal Perspective

要約

少数ショット学習モデルは、限られた人間の注釈を使用して表現を学習し、そのような学習パラダイムは、画像分類、オブジェクト検出などのさまざまなタスクで実用性を示します。
データが原因で、モデルはセマンティック情報を十分に調査できなくなります。
これに取り組むために、少数ショットのオブジェクト検出学習パラダイムに知識の蒸留を導入します。
さらに、動機付け実験を実行します。これは、知識の蒸留の過程で、教師モデルの経験的エラーが、学生としての少数ショットオブジェクト検出モデルの予測パフォーマンスを低下させることを示しています。
この現象の背後にある理由を理解するために、因果理論の観点から少数ショットのオブジェクト検出タスクに関する知識蒸留の学習パラダイムを再検討し、それに応じて構造的因果モデルを開発します。
理論的ガイダンスに従って、対応する構造因果モデルに対して条件付き因果介入を実行するために、少数ショットのオブジェクト検出タスク、つまり Disentangle and Remerge (D&R) のためのバックドア調整ベースの知識蒸留法を提案します。
理論的には、バックドア基準の拡張定義、つまり一般的なバックドア パスを提供します。これにより、特定のケースでバックドア基準の理論的な適用境界を拡張できます。
経験的に、複数のベンチマーク データセットでの実験は、D&R が少数ショットのオブジェクト検出で大幅なパフォーマンス向上をもたらすことを示しています。

要約(オリジナル)

Few-shot learning models learn representations with limited human annotations, and such a learning paradigm demonstrates practicability in various tasks, e.g., image classification, object detection, etc. However, few-shot object detection methods suffer from an intrinsic defect that the limited training data makes the model cannot sufficiently explore semantic information. To tackle this, we introduce knowledge distillation to the few-shot object detection learning paradigm. We further run a motivating experiment, which demonstrates that in the process of knowledge distillation the empirical error of the teacher model degenerates the prediction performance of the few-shot object detection model, as the student. To understand the reasons behind this phenomenon, we revisit the learning paradigm of knowledge distillation on the few-shot object detection task from the causal theoretic standpoint, and accordingly, develop a Structural Causal Model. Following the theoretical guidance, we propose a backdoor adjustment-based knowledge distillation method for the few-shot object detection task, namely Disentangle and Remerge (D&R), to perform conditional causal intervention toward the corresponding Structural Causal Model. Theoretically, we provide an extended definition, i.e., general backdoor path, for the backdoor criterion, which can expand the theoretical application boundary of the backdoor criterion in specific cases. Empirically, the experiments on multiple benchmark datasets demonstrate that D&R can yield significant performance boosts in few-shot object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google