Knowledge Distillation for Road Detection based on cross-model Semi-Supervised Learning

要約

知識蒸留の進歩は、大規模な教師モデルから小規模で効率的な生徒モデルへの知識の伝達を可能にする上で重要な役割を果たしており、特にオンラインおよびリソースに制約のあるアプリケーションにとって有益です。
学生モデルの有効性は、教師から得られる蒸留された知識の質に大きく依存します。
ラベルなしのリモート センシング データにアクセスしやすいため、半教師あり学習はモデルのパフォーマンスを向上させるための一般的な戦略となっています。
ただし、小規模なモデルでの半教師あり学習のみに依存するのは、特徴抽出能力が限られているため不十分である可能性があります。
この制限により、トレーニング データを悪用する能力が制限されます。
この問題に対処するために、知識の蒸留と半教師あり学習方法を組み合わせた統合アプローチを提案します。
このハイブリッド アプローチでは、大規模モデルの堅牢な機能を活用して、大規模なラベルなしデータを効果的に利用しながら、その後、小規模の学生モデルに豊富で有益な機能を強化して提供します。
提案された半教師あり学習ベースの知識蒸留 (SSLKD) アプローチは、道路セグメンテーションの適用においてスチューデント モデルのパフォーマンスが顕著に向上し、従来の半教師あり学習手法の有効性を上回っていることを示しています。

要約(オリジナル)

The advancement of knowledge distillation has played a crucial role in enabling the transfer of knowledge from larger teacher models to smaller and more efficient student models, and is particularly beneficial for online and resource-constrained applications. The effectiveness of the student model heavily relies on the quality of the distilled knowledge received from the teacher. Given the accessibility of unlabelled remote sensing data, semi-supervised learning has become a prevalent strategy for enhancing model performance. However, relying solely on semi-supervised learning with smaller models may be insufficient due to their limited capacity for feature extraction. This limitation restricts their ability to exploit training data. To address this issue, we propose an integrated approach that combines knowledge distillation and semi-supervised learning methods. This hybrid approach leverages the robust capabilities of large models to effectively utilise large unlabelled data whilst subsequently providing the small student model with rich and informative features for enhancement. The proposed semi-supervised learning-based knowledge distillation (SSLKD) approach demonstrates a notable improvement in the performance of the student model, in the application of road segmentation, surpassing the effectiveness of traditional semi-supervised learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google