Progressive Self-Distillation for Ground-to-Aerial Perception Knowledge Transfer

要約

ドローンがさまざまな飛行高度の視点から環境内でどのように認識できるかという、まだ探求されていない実用的な問題を研究しています。
常に地上の視点から知覚を行う自動運転とは異なり、飛行中のドローンは、特定のタスクによって飛行高度が柔軟に変化する可能性があるため、視点不変の知覚能力が必要です。
飛行データの注釈の労力を軽減するために、地上視点のラベル付きデータと飛行視点のラベルなしデータのみを使用しながら、地上から空中への知識の抽出方法を検討します。
この目的のために、4つのコアコンポーネントを持つプログレッシブ半教師あり学習フレームワークを提案します:垂直飛行高さの範囲を均等に分散された間隔で小さな断片のセットに分割する高密度視点サンプリング戦略、および各高さでサンプリングする
その観点からのデータ;
前の視点で学習したモデルを使用して、最近傍視点のラベルを推測する最近傍疑似ラベリング。
視点の違いを緩和するために、異なる視点間で拡張画像を生成する MixView。
最大飛行高度に達するまで徐々に学習する漸進的な蒸留戦略。
合成されたデータセットと実際のデータセットを収集し、広範な実験を行って、さまざまな飛行高度でこの方法が有望な結果をもたらすことを示します。

要約(オリジナル)

We study a practical yet hasn’t been explored problem: how a drone can perceive in an environment from viewpoints of different flight heights. Unlike autonomous driving where the perception is always conducted from a ground viewpoint, a flying drone may flexibly change its flight height due to specific tasks, requiring capability for viewpoint invariant perception. To reduce the effort of annotation of flight data, we consider a ground-to-aerial knowledge distillation method while using only labeled data of ground viewpoint and unlabeled data of flying viewpoints. To this end, we propose a progressive semi-supervised learning framework which has four core components: a dense viewpoint sampling strategy that splits the range of vertical flight height into a set of small pieces with evenly-distributed intervals, and at each height we sample data from that viewpoint; the nearest neighbor pseudo-labeling that infers labels of the nearest neighbor viewpoint with a model learned on the preceding viewpoint; MixView that generates augmented images among different viewpoints to alleviate viewpoint difference; and a progressive distillation strategy to gradually learn until reaching the maximum flying height. We collect a synthesized dataset and a real-world dataset, and we perform extensive experiments to show that our method yields promising results for different flight heights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google