PIC 4th Challenge: Semantic-Assisted Multi-Feature Encoding and Multi-Head Decoding for Dense Video Captioning

要約

Dense Video Captioning (DVC)のタスクは、1つのビデオ内の複数のイベントに対するタイムスタンプ付きのキャプションを生成することを目的としている。意味情報はDVCのローカライゼーションとディスクリプションの両方において重要な役割を果たす。我々は、符号化-復号化のフレームワークに基づいて、意味的に支援された密なビデオキャプションのモデルを提示する。エンコード段階では、意味情報を抽出するために概念検出器を設計し、それをマルチモーダルな視覚的特徴と融合して入力ビデオを十分に表現する。復号化段階では、ローカライゼーションとキャプションのヘッドと並列に分類ヘッドを設計し、意味的な監視を行う。本手法は、YouMakeupデータセットにおいてDVC評価指標に基づく大幅な改善を達成し、PIC 4th ChallengeのMakeup Dense Video Captioning (MDVC) taskにおいて高い性能を発揮することができた。

要約(オリジナル)

The task of Dense Video Captioning (DVC) aims to generate captions with timestamps for multiple events in one video. Semantic information plays an important role for both localization and description of DVC. We present a semantic-assisted dense video captioning model based on the encoding-decoding framework. In the encoding stage, we design a concept detector to extract semantic information, which is then fused with multi-modal visual features to sufficiently represent the input video. In the decoding stage, we design a classification head, paralleled with the localization and captioning heads, to provide semantic supervision. Our method achieves significant improvements on the YouMakeup dataset under DVC evaluation metrics and achieves high performance in the Makeup Dense Video Captioning (MDVC) task of PIC 4th Challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL