Learning Long-Term Spatial-Temporal Graphs for Active Speaker Detection

要約

複数の話者がいるビデオでのアクティブ スピーカー検出 (ASD) は、効果的な視聴覚機能と長い時間ウィンドウにわたる時空間相関を学習する必要があるため、困難な作業です。
この論文では、ASDなどの複雑なタスクを解決できる新しい時空間グラフ学習フレームワークであるSPELLを紹介します。
この目的のために、ビデオ フレーム内の各人物は、まずそのフレームの一意のノードでエンコードされます。
フレーム全体で 1 人の人物に対応するノードが接続され、時間のダイナミクスがエンコードされます。
フレーム内のノードも接続され、個人間の関係がエンコードされます。
したがって、SPELL は ASD をノード分類タスクに減らします。
重要なことに、SPELL は、計算コストの高い完全に接続されたグラフ ニューラル ネットワークに依存することなく、すべてのノードの長い時間的コンテキストを推論できます。
AVA-ActiveSpeaker データセットでの広範な実験を通じて、グラフベースの表現を学習すると、その明示的な空間的および時間的構造により、アクティブ スピーカーの検出パフォーマンスが大幅に向上することが実証されました。
SPELL は、以前のすべての最先端のアプローチよりも優れていますが、必要なメモリと計算リソースは大幅に少なくて済みます。
私たちのコードは、https://github.com/SRA2/SPELL で公開されています。

要約(オリジナル)

Active speaker detection (ASD) in videos with multiple speakers is a challenging task as it requires learning effective audiovisual features and spatial-temporal correlations over long temporal windows. In this paper, we present SPELL, a novel spatial-temporal graph learning framework that can solve complex tasks such as ASD. To this end, each person in a video frame is first encoded in a unique node for that frame. Nodes corresponding to a single person across frames are connected to encode their temporal dynamics. Nodes within a frame are also connected to encode inter-person relationships. Thus, SPELL reduces ASD to a node classification task. Importantly, SPELL is able to reason over long temporal contexts for all nodes without relying on computationally expensive fully connected graph neural networks. Through extensive experiments on the AVA-ActiveSpeaker dataset, we demonstrate that learning graph-based representations can significantly improve the active speaker detection performance owing to its explicit spatial and temporal structure. SPELL outperforms all previous state-of-the-art approaches while requiring significantly lower memory and computational resources. Our code is publicly available at https://github.com/SRA2/SPELL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google