SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation

要約

近年、変換器ベースの手法は、人間のポーズ推定（HPE）において最先端の予測品質を達成している。それにもかかわらず、これらのトップクラスの性能を持つ変換器ベースのモデルのほとんどは、エッジコンピューティングプラットフォームに導入するには、計算量とストレージ容量が大きすぎる。より少ないリソースを必要とする変換器ベースのモデルは、スケールが小さいためアンダーフィッティングになりやすく、その結果、より大きな対応するモデルよりも性能が著しく低下する。この難問を踏まえ、我々は、小型のトランスフォーマベースのモデルの性能を向上させるための新しい自己蒸留法であるSDPoseを導入する。アンダーフィッティングの問題を軽減するために、マルチサイクルドトランスフォーマー(MCT)と名付けられたトランスフォーマーモジュールを設計する。さらに、MCTがもたらす追加の推論計算負荷を防ぐために、MCTモジュールからナイーブフォワードモデルに知識を抽出する自己蒸留スキームを導入する。具体的には、MSCOCO検証データセットにおいて、SDPose-Tは4.4Mパラメータと1.8GFLOPsで69.7%のmAPを得た。さらに、SDPose-S-V2はMSCOCO検証データセットにおいて、6.2Mのパラメータと4.7GFLOPsで73.5%のmAPを獲得し、主要な小さなニューラルネットワーク手法の中で新たな最先端を達成した。我々のコードはhttps://github.com/MartyrPenink/SDPose。

要約(オリジナル)

Recently, transformer-based methods have achieved state-of-the-art prediction quality on human pose estimation(HPE). Nonetheless, most of these top-performing transformer-based models are too computation-consuming and storage-demanding to deploy on edge computing platforms. Those transformer-based models that require fewer resources are prone to under-fitting due to their smaller scale and thus perform notably worse than their larger counterparts. Given this conundrum, we introduce SDPose, a new self-distillation method for improving the performance of small transformer-based models. To mitigate the problem of under-fitting, we design a transformer module named Multi-Cycled Transformer(MCT) based on multiple-cycled forwards to more fully exploit the potential of small model parameters. Further, in order to prevent the additional inference compute-consuming brought by MCT, we introduce a self-distillation scheme, extracting the knowledge from the MCT module to a naive forward model. Specifically, on the MSCOCO validation dataset, SDPose-T obtains 69.7% mAP with 4.4M parameters and 1.8 GFLOPs. Furthermore, SDPose-S-V2 obtains 73.5% mAP on the MSCOCO validation dataset with 6.2M parameters and 4.7 GFLOPs, achieving a new state-of-the-art among predominant tiny neural network methods. Our code is available at https://github.com/MartyrPenink/SDPose.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL