Uncovering Misattributed Suicide Causes through Annotation Inconsistency Detection in Death Investigation Notes

要約

データの正確性は科学研究や政策開発にとって不可欠です。
National Violent Death Reporting System (NVDRS) データは、死のパターンと原因を発見するために広く使用されています。
最近の研究では、NVDRS 内の注釈の不一致と、誤った自殺原因帰属への潜在的な影響が示唆されています。
アノテーションの不一致を検出し、問題のあるインスタンスを特定するために相互検証のようなパラダイムを採用するための経験的な自然言語処理 (NLP) アプローチを紹介します。
私たちは、NVDRS から 2003 年から 2020 年までの 267,804 件の自殺死亡事件を分析しました。
私たちの結果によると、自殺危機分類器のトレーニングに対象州のデータを組み込むと、対象州のテストセットでは F-1 スコアが 5.4% 増加し、他の州のテストセットでは 1.1% 減少しました。
結論として、NVDRS の死亡調査メモの注釈の不一致を実証し、問題のある事例を特定し、問題のある事例を修正する有効性を評価し、最終的に NLP 改善ソリューションを提案しました。

要約(オリジナル)

Data accuracy is essential for scientific research and policy development. The National Violent Death Reporting System (NVDRS) data is widely used for discovering the patterns and causes of death. Recent studies suggested the annotation inconsistencies within the NVDRS and the potential impact on erroneous suicide-cause attributions. We present an empirical Natural Language Processing (NLP) approach to detect annotation inconsistencies and adopt a cross-validation-like paradigm to identify problematic instances. We analyzed 267,804 suicide death incidents between 2003 and 2020 from the NVDRS. Our results showed that incorporating the target state’s data into training the suicide-crisis classifier brought an increase of 5.4% to the F-1 score on the target state’s test set and a decrease of 1.1% on other states’ test set. To conclude, we demonstrated the annotation inconsistencies in NVDRS’s death investigation notes, identified problematic instances, evaluated the effectiveness of correcting problematic instances, and eventually proposed an NLP improvement solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google