Deception Detection from Linguistic and Physiological Data Streams Using Bimodal Convolutional Neural Networks

要約

倫理的およびセキュリティ上の懸念から、欺瞞検出への関心が高まっています。
この論文では、マルチモーダルな欺瞞検出を目的とした畳み込みニューラル ネットワークの応用について検討します。
2 つのトピックについて 104 人の被験者にインタビューして構築されたデータセットを使用します。各トピックについて、各被験者から 1 つの真実の回答と 1 つの虚偽の回答が得られます。
特に、私たちは 3 つの主要な貢献を行っています。
まず、このデータから言語的および生理学的特徴を抽出して、ニューラル ネットワーク モデルをトレーニングおよび構築します。
次に、全体的なパフォーマンスの向上を達成するために、両方のモダリティを使用した融合畳み込みニューラル ネットワーク モデルを提案します。
第三に、新しいアプローチを、マルチモーダルな欺瞞検出用に設計された以前の方法と比較します。
私たちのシステムは通常の分類方法よりも優れていることがわかりました。
私たちの結果は、限られた量のデータが存在する場合でも、欺瞞検出にニューラル ネットワークを使用することが実現可能であることを示しています。

要約(オリジナル)

Deception detection is gaining increasing interest due to ethical and security concerns. This paper explores the application of convolutional neural networks for the purpose of multimodal deception detection. We use a dataset built by interviewing 104 subjects about two topics, with one truthful and one falsified response from each subject about each topic. In particular, we make three main contributions. First, we extract linguistic and physiological features from this data to train and construct the neural network models. Second, we propose a fused convolutional neural network model using both modalities in order to achieve an improved overall performance. Third, we compare our new approach with earlier methods designed for multimodal deception detection. We find that our system outperforms regular classification methods; our results indicate the feasibility of using neural networks for deception detection even in the presence of limited amounts of data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google