VideoClusterNet: Self-Supervised and Adaptive Face Clustering For Videos

要約

デジタル メディア コンテンツ制作の隆盛に伴い、映画やテレビ シリーズのエピソードを分析して主要な登場人物を正確に特定する必要性が高まっています。具体的には、ビデオ顔クラスタリングは、検出されたビデオ顔トラックを共通の顔のアイデンティティでグループ化することを目的としています。
この問題は、ビデオ フレーム全体で特定の顔のポーズ、表情、外観、照明のバリエーションが広範囲に及ぶため、非常に困難です。
事前トレーニングされた一般的な顔識別 (ID) モデルは、ダイナミック レンジの高いコンテンツと独特の映画スタイルを考慮すると、ビデオ制作ドメインにうまく適応できません。
さらに、従来のクラスタリング アルゴリズムはハイパーパラメータに依存しており、データセット全体で個別に調整する必要があります。
この論文では、完全に自己教師付きの方法で、汎用の顔 ID モデルを新しいビデオの顔トラックに適応させる方法を学習する、新しいビデオの顔クラスタリング アプローチを紹介します。
また、任意の入力ビデオに対して微調整されたモデルの埋め込み空間に自動的に適応できる、パラメーターフリーのクラスタリング アルゴリズムも提案します。
包括的な映画の顔のクラスタリング ベンチマークが不足しているため、私たちは初の映画データセットである MovieFaceCluster も紹介します。
私たちのデータセットは映画業界の専門家によって厳選されており、非常に困難な顔 ID シナリオが含まれています。
実験では、ベンチマーク データセットでの困難な主流の映画シーンの処理におけるこの手法の有効性と、従来の TV シリーズ データセットでの最先端のパフォーマンスが示されています。

要約(オリジナル)

With the rise of digital media content production, the need for analyzing movies and TV series episodes to locate the main cast of characters precisely is gaining importance.Specifically, Video Face Clustering aims to group together detected video face tracks with common facial identities. This problem is very challenging due to the large range of pose, expression, appearance, and lighting variations of a given face across video frames. Generic pre-trained Face Identification (ID) models fail to adapt well to the video production domain, given its high dynamic range content and also unique cinematic style. Furthermore, traditional clustering algorithms depend on hyperparameters requiring individual tuning across datasets. In this paper, we present a novel video face clustering approach that learns to adapt a generic face ID model to new video face tracks in a fully self-supervised fashion. We also propose a parameter-free clustering algorithm that is capable of automatically adapting to the finetuned model’s embedding space for any input video. Due to the lack of comprehensive movie face clustering benchmarks, we also present a first-of-kind movie dataset: MovieFaceCluster. Our dataset is handpicked by film industry professionals and contains extremely challenging face ID scenarios. Experiments show our method’s effectiveness in handling difficult mainstream movie scenes on our benchmark dataset and state-of-the-art performance on traditional TV series datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google