Can lies be faked? Comparing low-stakes and high-stakes deception video datasets from a Machine Learning perspective

要約

人間社会における嘘の大きな影響と、欺瞞検出 (DD) の人間の精度はわずか 54% であるにもかかわらず、自動化された DD を実行する機械学習システムは、データが不足しているため、現実の設定で適切に適用するにはまだ実行可能ではありません。
公に利用可能な DD データセットはほとんど存在せず、新しいデータセットの作成は、リスクの低い嘘とリスクの高い嘘の概念的な違いによって妨げられています。
理論的には、2 種類の嘘は非常に異なるため、一方の種類のデータセットを他方の種類のアプリケーションに使用することはできません。
リスクの低い欺瞞は、制御された設定でシミュレート (偽造) できるため、データを取得する方が簡単ですが、これらの嘘は、真のリスクの高い嘘と同じ意味や深さを保持していません。
自動化された DD システムの実際的な関心。
この区別が実際的な観点から当てはまるかどうかを調査するために、ビデオ データのみから動作するディープ ラーニング分類器で結果を評価する、ハイ ステークス DD データセットとロー ステークス DD データセットを比較するいくつかの実験を設計します。
私たちの実験では、ロー ステークスの嘘でトレーニングされたネットワークは、ロー ステークスの嘘よりもハイ ステークスの欺瞞を分類する精度が高くなりましたが、ハイ ステークスのデータセットの拡張戦略としてロー ステークスの嘘を使用すると、その精度が低下しました。

要約(オリジナル)

Despite the great impact of lies in human societies and a meager 54% human accuracy for Deception Detection (DD), Machine Learning systems that perform automated DD are still not viable for proper application in real-life settings due to data scarcity. Few publicly available DD datasets exist and the creation of new datasets is hindered by the conceptual distinction between low-stakes and high-stakes lies. Theoretically, the two kinds of lies are so distinct that a dataset of one kind could not be used for applications for the other kind. Even though it is easier to acquire data on low-stakes deception since it can be simulated (faked) in controlled settings, these lies do not hold the same significance or depth as genuine high-stakes lies, which are much harder to obtain and hold the practical interest of automated DD systems. To investigate whether this distinction holds true from a practical perspective, we design several experiments comparing a high-stakes DD dataset and a low-stakes DD dataset evaluating their results on a Deep Learning classifier working exclusively from video data. In our experiments, a network trained in low-stakes lies had better accuracy classifying high-stakes deception than low-stakes, although using low-stakes lies as an augmentation strategy for the high-stakes dataset decreased its accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google