Progressive Self-Distillation for Ground-to-Aerial Perception Knowledge Transfer

要約

私たちは実用的なまだ探求されていない問題を研究しています: ドローンが異なる飛行高度からの環境でどのように認識できるかです.
知覚が常に地上の視点から行われる自動運転とは異なり、飛行中のドローンは、特定のタスクによって飛行高度が柔軟に変化する可能性があるため、視点不変の知覚能力が必要です。
教師あり学習でこのような問題に取り組むと、さまざまな飛行高度のデータ注釈に莫大なコストがかかります。
一方、現在の半教師あり学習法は、視点の違いの下では効果的ではありません。
この論文では、地上から空中への知覚知識伝達を紹介し、地上視点のラベル付きデータと飛行視点のラベルなしデータのみを使用してドローン知覚を可能にする漸進的半教師あり学習フレームワークを提案します。
私たちのフレームワークには、次の 4 つのコア コンポーネントがあります。i) 垂直方向の飛行高さの範囲を、均等に分散された間隔で一連の小さな断片に分割する密な視点サンプリング戦略、ii) 最近傍視点のラベルを
前の視点で学習したモデル、iii) 異なる視点間で拡張画像を生成して視点の違いを緩和する MixView、および iv) 最大飛行高度に達するまで徐々に学習する漸進的蒸留戦略。
合成データセットと実世界のデータセットを収集し、大規模な実験分析を行って、合成データセットと実世界の精度が 22.2% と 16.9% 向上することを示しました。
コードとデータセットは、https://github.com/FreeformRobotics/Progressive-Self-Distillation-for-Ground-to-Aerial-Perception-Knowledge-Transfer で入手できます。

要約(オリジナル)

We study a practical yet hasn’t been explored problem: how a drone can perceive in an environment from different flight heights. Unlike autonomous driving, where the perception is always conducted from a ground viewpoint, a flying drone may flexibly change its flight height due to specific tasks, requiring the capability for viewpoint invariant perception. Tackling the such problem with supervised learning will incur tremendous costs for data annotation of different flying heights. On the other hand, current semi-supervised learning methods are not effective under viewpoint differences. In this paper, we introduce the ground-to-aerial perception knowledge transfer and propose a progressive semi-supervised learning framework that enables drone perception using only labeled data of ground viewpoint and unlabeled data of flying viewpoints. Our framework has four core components: i) a dense viewpoint sampling strategy that splits the range of vertical flight height into a set of small pieces with evenly-distributed intervals, ii) nearest neighbor pseudo-labeling that infers labels of the nearest neighbor viewpoint with a model learned on the preceding viewpoint, iii) MixView that generates augmented images among different viewpoints to alleviate viewpoint differences, and iv) a progressive distillation strategy to gradually learn until reaching the maximum flying height. We collect a synthesized and a real-world dataset, and we perform extensive experimental analyses to show that our method yields 22.2% and 16.9% accuracy improvement for the synthesized dataset and the real world. Code and datasets are available on https://github.com/FreeformRobotics/Progressive-Self-Distillation-for-Ground-to-Aerial-Perception-Knowledge-Transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google