EventFormer: AU Event Transformer for Facial Action Unit Event Detection

要約

タイトル：Facial Action Unit Event DetectionのためのEventFormer：AU Event Transformer

要約：

– AUを使用した高度な情動分析は、リアルワールドのアプリケーションですぐに必要とされています。
– 以前の研究によって提供されたフレームレベルのAU結果は、そのような分析に直接使用することはできません。
– AUsは動的なプロセスであるため、グローバルな時間情報の利用が重要ですが、これらは文献で厳重に無視されています。
– このため、私たちはAUイベント検出のためのEventFormerを提案しています。これは、AUイベント検出を複数のクラス特有のセット予測問題として表示し、ビデオシーケンスからAUイベントを直接検出する最初の仕事です。
– 広範な実験が一般的に使用されるAUベンチマークデータセット（BP4D）で実施され、EventFormerの優位性が適切なメトリックの下で示されました。

要約(オリジナル)

Facial action units (AUs) play an indispensable role in human emotion analysis. We observe that although AU-based high-level emotion analysis is urgently needed by real-world applications, frame-level AU results provided by previous works cannot be directly used for such analysis. Moreover, as AUs are dynamic processes, the utilization of global temporal information is important but has been gravely ignored in the literature. To this end, we propose EventFormer for AU event detection, which is the first work directly detecting AU events from a video sequence by viewing AU event detection as a multiple class-specific sets prediction problem. Extensive experiments conducted on a commonly used AU benchmark dataset, BP4D, show the superiority of EventFormer under suitable metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI