When lies are mostly truthful: automated verbal deception detection for embedded lies

要約

背景: 言葉による欺瞞の検出研究は物語に依存しており、一般に発言が真実であるか欺瞞的であると想定されています。
より現実的な視点では、発言の真実性は、同じ発言の中に真実の部分と欺瞞的な部分が埋め込まれた連続体として存在することが認められます。
しかし、埋め込まれた嘘に関する研究は遅れています。
方法: 注釈付きの嘘が埋め込まれた 2,088 件の真実および欺瞞的な発言からなる新しいデータセットを収集しました。
被験者内デザインを使用して、参加者は自伝的出来事についての真実の説明を提供しました。
その後、彼らは埋め込まれた嘘を含めることによって自分たちの声明を欺瞞的な方法で書き直し、後でそれを強調し、嘘の中心性、欺瞞性、および情報源に基づいて判断しました。
結果: 微調整された言語モデル (Llama-3-8B) が真実の発言と嘘が埋め込まれた発言を 64% の精度で分類できることを示します。
個人差、言語特性、説明可能性の分析は、埋め込まれた嘘に向かってダイヤルを動かすという課題は、嘘が真実の発言に似ていることに起因していることを示唆しています。
典型的な欺瞞的発言は、2/3 の真実の情報と 1/3 の埋め込まれた嘘で構成されており、主に過去の個人的な経験に由来しており、真実の情報との言語的な違いは最小限です。
結論: この課題に対処し、言葉による欺瞞検出に埋め込まれた嘘に関する研究を促進するための新しいリソースとしてこのデータセットを提示します。

要約(オリジナル)

Background: Verbal deception detection research relies on narratives and commonly assumes statements as truthful or deceptive. A more realistic perspective acknowledges that the veracity of statements exists on a continuum with truthful and deceptive parts being embedded within the same statement. However, research on embedded lies has been lagging behind. Methods: We collected a novel dataset of 2,088 truthful and deceptive statements with annotated embedded lies. Using a within-subjects design, participants provided a truthful account of an autobiographical event. They then rewrote their statement in a deceptive manner by including embedded lies, which they highlighted afterwards and judged on lie centrality, deceptiveness, and source. Results: We show that a fined-tuned language model (Llama-3-8B) can classify truthful statements and those containing embedded lies with 64% accuracy. Individual differences, linguistic properties and explainability analysis suggest that the challenge of moving the dial towards embedded lies stems from their resemblance to truthful statements. Typical deceptive statements consisted of 2/3 truthful information and 1/3 embedded lies, largely derived from past personal experiences and with minimal linguistic differences with their truthful counterparts. Conclusion: We present this dataset as a novel resource to address this challenge and foster research on embedded lies in verbal deception detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google