Automated Deception Detection from Videos: Using End-to-End Learning Based High-Level Features and Classification Approaches

要約

欺瞞検出は、心理学、犯罪学、コンピューターサイエンス、経済学の研究者が集まる学際的な分野です。
私たちは、自動化された欺瞞検出のために深層学習と識別モデルを組み合わせたマルチモーダルなアプローチを提案します。
ビデオモダリティを使用して、畳み込みエンドツーエンド学習を採用して視線、頭の姿勢、顔の表情を分析し、最先端の方法と比較して有望な結果を達成しました。
トレーニング データが限られているため、欺瞞検出には識別モデルも利用します。
シーケンスからクラスへのアプローチが検討されていますが、データが不足しているため、識別モデルの方が優れています。
私たちのアプローチは、経済的要因によって動機付けられた新しいサイコロ振り実験を含む 5 つのデータセットで評価されます。
結果は、顔の表情が視線や頭のポーズよりも優れており、モダリティと特徴選択を組み合わせることで検出パフォーマンスが向上することを示しています。
データセット間で表現される特徴の違いは、シナリオ固有のトレーニング データの重要性と、欺瞞的な動作に対するコンテキストの影響を強調します。
データセット間の実験により、これらの発見が強化されます。
ローリング ダイス実験など、リスクの低いデータセットによってもたらされる課題にもかかわらず、欺瞞検出のパフォーマンスは偶然のレベルを超えています。
私たちが提案したマルチモーダルなアプローチと包括的な評価は、ビデオモダリティからの欺瞞検出を自動化する可能性に光を当て、将来の研究への道を開きます。

要約(オリジナル)

Deception detection is an interdisciplinary field attracting researchers from psychology, criminology, computer science, and economics. We propose a multimodal approach combining deep learning and discriminative models for automated deception detection. Using video modalities, we employ convolutional end-to-end learning to analyze gaze, head pose, and facial expressions, achieving promising results compared to state-of-the-art methods. Due to limited training data, we also utilize discriminative models for deception detection. Although sequence-to-class approaches are explored, discriminative models outperform them due to data scarcity. Our approach is evaluated on five datasets, including a new Rolling-Dice Experiment motivated by economic factors. Results indicate that facial expressions outperform gaze and head pose, and combining modalities with feature selection enhances detection performance. Differences in expressed features across datasets emphasize the importance of scenario-specific training data and the influence of context on deceptive behavior. Cross-dataset experiments reinforce these findings. Despite the challenges posed by low-stake datasets, including the Rolling-Dice Experiment, deception detection performance exceeds chance levels. Our proposed multimodal approach and comprehensive evaluation shed light on the potential of automating deception detection from video modalities, opening avenues for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google