Contrastive Masked Autoencoders for Self-Supervised Video Hashing

要約

Self-Supervised Video Hashing (SSVH) モデルは、グラウンド トゥルースの監視なしでビデオの短いバイナリ表現を生成することを学習し、大規模なビデオ検索効率を促進し、研究の注目を集めています。
SSVH の成功は、ビデオ コンテンツの理解と、ラベル付けされていないビデオ間のセマンティックな関係を捉える能力にあります。
通常、最先端の SSVH メソッドは、これら 2 つのポイントを 2 段階のトレーニング パイプラインで考慮します。最初に、インスタンスごとのマスクと予測タスクによって補助ネットワークをトレーニングし、次にハッシュ モデルをトレーニングして疑似データを保持します。
-補助ネットワークから転送された近隣構造。
この連続トレーニング戦略は柔軟性がなく、不要でもあります。
この論文では、ビデオの意味情報とビデオの類似関係の理解を 1 段階で組み込む、ConMH と呼ばれるシンプルで効果的な 1 段階の SSVH メソッドを提案します。
より良いハッシュ学習のためにビデオのセマンティック情報をキャプチャするために、エンコーダー/デコーダー構造を採用して、一時的にマスクされたフレームからビデオを再構築します。
特に、マスキング率が高いほど、ビデオの理解に役立つことがわかりました。
さらに、ビデオの 2 つの拡張ビュー間の一致を最大化することで、ビデオ間の類似関係を十分に活用します。
3 つの大規模なビデオ データセット (FCVID、ActivityNet、YFCC) での広範な実験は、ConMH が最先端の結果を達成することを示しています。
コードは https://github.com/huangmozhi9527/ConMH で入手できます。

要約(オリジナル)

Self-Supervised Video Hashing (SSVH) models learn to generate short binary representations for videos without ground-truth supervision, facilitating large-scale video retrieval efficiency and attracting increasing research attention. The success of SSVH lies in the understanding of video content and the ability to capture the semantic relation among unlabeled videos. Typically, state-of-the-art SSVH methods consider these two points in a two-stage training pipeline, where they firstly train an auxiliary network by instance-wise mask-and-predict tasks and secondly train a hashing model to preserve the pseudo-neighborhood structure transferred from the auxiliary network. This consecutive training strategy is inflexible and also unnecessary. In this paper, we propose a simple yet effective one-stage SSVH method called ConMH, which incorporates video semantic information and video similarity relationship understanding in a single stage. To capture video semantic information for better hashing learning, we adopt an encoder-decoder structure to reconstruct the video from its temporal-masked frames. Particularly, we find that a higher masking ratio helps video understanding. Besides, we fully exploit the similarity relationship between videos by maximizing agreement between two augmented views of a video, which contributes to more discriminative and robust hash codes. Extensive experiments on three large-scale video datasets (i.e., FCVID, ActivityNet and YFCC) indicate that ConMH achieves state-of-the-art results. Code is available at https://github.com/huangmozhi9527/ConMH.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google