Self-Supervised Video Similarity Learning

要約

タイトル: 自己教師付き映像類似度学習
要約:
– S$^2$VSという自己教師付きの映像類似度学習手法を紹介する。
– この手法では、ラベル付けされたデータを使用せずに、多数の検索・検出タスクを同時に解決しながら、映像類似度学習を実行する。
– インスタンス間の識別を通じて、タスク固有の拡張と一緒に広く使用されているInfoNCE損失を用いて学習を行い、自己相似とハードネガティブ相似性の両方を扱う追加の損失も一緒に使用する。
– コピーした映像、同じ事件や出来事を描いた映像など、映像の関連性を細かく定義するタスクでベンチマークを行い、すべてのタスクで最高の性能を発揮し、ラベル付けされたデータを使用した以前の手法を超える単一のユニバーサルモデルを学習することができた。
– コードと事前学習済みモデルは以下から公開されている：\url{https://github.com/gkordo/s2vs}

要約(オリジナル)

We introduce S$^2$VS, a video similarity learning approach with self-supervision. Self-Supervised Learning (SSL) is typically used to train deep models on a proxy task so as to have strong transferability on target tasks after fine-tuning. Here, in contrast to prior work, SSL is used to perform video similarity learning and address multiple retrieval and detection tasks at once with no use of labeled data. This is achieved by learning via instance-discrimination with task-tailored augmentations and the widely used InfoNCE loss together with an additional loss operating jointly on self-similarity and hard-negative similarity. We benchmark our method on tasks where video relevance is defined with varying granularity, ranging from video copies to videos depicting the same incident or event. We learn a single universal model that achieves state-of-the-art performance on all tasks, surpassing previously proposed methods that use labeled data. The code and pretrained models are publicly available at: \url{https://github.com/gkordo/s2vs}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI