TransKD: Transformer Knowledge Distillation for Efficient Semantic Segmentation

要約

自動運転の分野におけるセマンティック セグメンテーションのベンチマークは、事前にトレーニングされた大規模なトランスフォーマーによって占められていますが、その広範な採用は、膨大な計算コストと長時間にわたるトレーニングによって妨げられています。
この制約を取り除くために、私たちは包括的な知識の蒸留の観点から効率的なセマンティック セグメンテーションを検討し、マルチソースの知識の抽出とトランスフォーマー固有のパッチの埋め込みの間のギャップを埋めることを目指しています。
私たちは、大規模な教師トランスフォーマーの特徴マップとパッチ埋め込みの両方を蒸留することでコンパクトな学生トランスフォーマーを学習する、トランスフォーマーベースの知識蒸留 (TransKD) フレームワークを提案しました。これにより、長い事前トレーニング プロセスがバイパスされ、FLOP が 85.0% 以上削減されます。
具体的には、特徴マップ蒸留とパッチ埋め込み蒸留をそれぞれ実現するための 2 つの基本モジュールを提案します。(1) クロス選択融合 (CSF) により、階層トランスフォーマー内のチャネル アテンションと特徴マップ蒸留を介して、クロスステージ特徴間の知識伝達が可能になります。
(2) パッチ埋め込みアライメント (PEA) は、パッチ埋め込みの蒸留を容易にするために、パッチ化プロセス内で次元変換を実行します。
さらに、さまざまな観点からパッチ エンベ​​ディングの蒸留を強化する 2 つの最適化モジュールを導入します。(1) グローバル/ローカル コンテキスト ミキサー (GL-Mixer) は、代表的なエンベディングのグローバル情報とローカル情報の両方を抽出します。
(2) エンベディング アシスタント (EA) は、教師と生徒のモデルと教師のチャネル数をシームレスにブリッジする埋め込み方法として機能します。
Cityscapes、ACDC、NYUv2、Pascal VOC2012 データセットでの実験では、TransKD が最先端の蒸留フレームワークを上回り、時間のかかる事前トレーニング手法に匹敵することが示されています。
ソース コードは https://github.com/RuipingL/TransKD で公開されています。

要約(オリジナル)

Semantic segmentation benchmarks in the realm of autonomous driving are dominated by large pre-trained transformers, yet their widespread adoption is impeded by substantial computational costs and prolonged training durations. To lift this constraint, we look at efficient semantic segmentation from a perspective of comprehensive knowledge distillation and aim to bridge the gap between multi-source knowledge extractions and transformer-specific patch embeddings. We put forward the Transformer-based Knowledge Distillation (TransKD) framework which learns compact student transformers by distilling both feature maps and patch embeddings of large teacher transformers, bypassing the long pre-training process and reducing the FLOPs by >85.0%. Specifically, we propose two fundamental modules to realize feature map distillation and patch embedding distillation, respectively: (1) Cross Selective Fusion (CSF) enables knowledge transfer between cross-stage features via channel attention and feature map distillation within hierarchical transformers; (2) Patch Embedding Alignment (PEA) performs dimensional transformation within the patchifying process to facilitate the patch embedding distillation. Furthermore, we introduce two optimization modules to enhance the patch embedding distillation from different perspectives: (1) Global-Local Context Mixer (GL-Mixer) extracts both global and local information of a representative embedding; (2) Embedding Assistant (EA) acts as an embedding method to seamlessly bridge teacher and student models with the teacher’s number of channels. Experiments on Cityscapes, ACDC, NYUv2, and Pascal VOC2012 datasets show that TransKD outperforms state-of-the-art distillation frameworks and rivals the time-consuming pre-training method. The source code is publicly available at https://github.com/RuipingL/TransKD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google