Voting-based Multimodal Automatic Deception Detection

要約

自動欺瞞検出は長い間注目されている研究トピックであり、機械学習と深層学習を使用して欺瞞を自動的に検出することで、この古い分野に新たな光をもたらします。
この論文では、音声、視覚、語彙の特徴を使用してビデオから欺瞞を自動的に検出するための投票ベースの方法を提案しました。
実験は、ミシガン大学による現実の試験データセットとマイアミ大学の欺瞞検出データセットの 2 つのデータセットで行われました。
ビデオサンプルは、画像、音声、原稿のフレームに分割されました。
私たちが提案する投票ベースのマルチモーダル ソリューションは 3 つのモデルで構成されています。
最初のモデルは画像から欺瞞を検出するための CNN、2 番目のモデルは音声から欺瞞を検出するためのメル スペクトログラム上のサポート ベクター マシン (SVM)、3 つ目のモデルは原稿から欺瞞を検出するためのサポート ベクター マシン (SVM) 上の Word2Vec です。
私たちが提案するソリューションは、最先端技術を上回ります。
画像、音声、テキストで達成された最良の結果は、Real-Life Trial Dataset ではそれぞれ 97%、96%、92% であり、マイアミ大学の欺瞞検出では、ビデオ、音声、テキストではそれぞれ 97%、82%、73% でした。

要約(オリジナル)

Automatic Deception Detection has been a hot research topic for a long time, using machine learning and deep learning to automatically detect deception, brings new light to this old field. In this paper, we proposed a voting-based method for automatic deception detection from videos using audio, visual and lexical features. Experiments were done on two datasets, the Real-life trial dataset by Michigan University and the Miami University deception detection dataset. Video samples were split into frames of images, audio, and manuscripts. Our Voting-based Multimodal proposed solution consists of three models. The first model is CNN for detecting deception from images, the second model is Support Vector Machine (SVM) on Mel spectrograms for detecting deception from audio and the third model is Word2Vec on Support Vector Machine (SVM) for detecting deception from manuscripts. Our proposed solution outperforms state of the art. Best results achieved on images, audio and text were 97%, 96%, 92% respectively on Real-Life Trial Dataset, and 97%, 82%, 73% on video, audio and text respectively on Miami University Deception Detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google