Can Deception Detection Go Deeper? Dataset, Evaluation, and Benchmark for Deception Reasoning

要約

欺瞞検出は、現実世界のシナリオにおける重要性によりますます注目を集めています。
その主な目的は、ジェスチャー、顔の表情、韻律などの多様な手がかりから欺瞞的な行動を検出することです。ただし、これらのベースは通常主観的なものであり、個人の習慣に関連しています。
したがって、欺瞞の検出を欺瞞の推論まで拡張し、主観的な判断をサポートする客観的な証拠をさらに提供します。
具体的には、潜在的な嘘と基本的な事実を提供し、事実の不一致とその背後にある意図を組み合わせて、なぜこの文が嘘であるかを分析します。
欺瞞の検出と比較して、このタスクは現実世界のシナリオにより適しています。
例えば、警察は取り調べにおいて、相手が嘘をついているかどうかを確かな証拠に基づいて判断しなければなりません。
このペーパーでは、データセットの構築や評価指標の定義など、このタスクにおける最初の試みについて説明します。
一方、このタスクは、大規模な言語モデルの複雑な推論能力を評価するためのベンチマークとして機能します。
コードとデータは補足資料で提供されます。

要約(オリジナル)

Deception detection has attracted increasing attention due to its importance in real-world scenarios. Its main goal is to detect deceptive behaviors from multimodal clues such as gestures, facial expressions, prosody, etc. However, these bases are usually subjective and related to personal habits. Therefore, we extend deception detection to deception reasoning, further providing objective evidence to support subjective judgment. Specifically, we provide potential lies and basic facts and then analyze why this sentence may be a lie by combining factual inconsistencies and intent behind them. Compared with deception detection, this task is more applicable to real-world scenarios. For example, in interrogation, the police should judge whether a person is lying based on solid evidence. This paper presents our initial attempts at this task, including constructing a dataset and defining evaluation metrics. Meanwhile, this task can serve as a benchmark for evaluating the complex reasoning capability of large language models. Our code and data are provided in the supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google