TinyHD: Efficient Video Saliency Prediction with Heterogeneous Decoders using Hierarchical Maps Distillation

要約

ビデオ顕著性予測は、いくつかの実用的なアプリケーションのアップストリーム タスクであるため、最近研究コミュニティの注目を集めています。
ただし、現在のソリューションは、特に時空間 3D 畳み込みが広く使用されているため、特に計算負荷が高くなります。
さまざまなモデル アーキテクチャがベンチマークで同様のパフォーマンスを達成している一方で、予測された顕著性マップ間の視覚的な変動は依然として重要であることがわかります。
この直感に触発されて、複数の単純な異種デコーダーを採用し、計算コストを低く抑えながら精度を向上させるためのいくつかの実用的なアプローチを採用する軽量モデルを提案します。
教師アシスタントの監督による削減。
私たちのアプローチは、モデルの効率を大幅に向上させながら、DFH1K、UCF-Sports、Hollywood2 ベンチマークで最先端の方法と同等以上の顕著性予測精度を達成します。
コードは https://github.com/feiyanhu/tinyHD にあります

要約(オリジナル)

Video saliency prediction has recently attracted attention of the research community, as it is an upstream task for several practical applications. However, current solutions are particularly computationally demanding, especially due to the wide usage of spatio-temporal 3D convolutions. We observe that, while different model architectures achieve similar performance on benchmarks, visual variations between predicted saliency maps are still significant. Inspired by this intuition, we propose a lightweight model that employs multiple simple heterogeneous decoders and adopts several practical approaches to improve accuracy while keeping computational costs low, such as hierarchical multi-map knowledge distillation, multi-output saliency prediction, unlabeled auxiliary datasets and channel reduction with teacher assistant supervision. Our approach achieves saliency prediction accuracy on par or better than state-of-the-art methods on DFH1K, UCF-Sports and Hollywood2 benchmarks, while enhancing significantly the efficiency of the model. Code is on https://github.com/feiyanhu/tinyHD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google