ValiTex — a unified validation framework for computational text-based measures of social science constructs

要約

社会科学の構成要素の計算テキストベースの測定を検証する方法に関するガイダンスは断片的です。
学者は一般に、テキストベースの測定値を検証することの重要性を認識していますが、多くの場合、それを行うための共通の用語や統一されたフレームワークが不足しています。
この論文では、学者がテキストデータに基づいて社会科学の構成を有効に測定できるように設計された新しい検証フレームワークである ValiTex を紹介します。
このフレームワークは、心理測定で長年確立されている妥当性の概念を利用していますが、これらの概念を拡張して、計算によるテキスト分析の特定のニーズをカバーします。
ValiTex は、概念的なフレームワークと動的チェックリストの 2 つのコンポーネントで構成されています。
概念フレームワークは、検証にどのようにアプローチするかについて個別のフェーズに沿った一般的な構造を提供するのに対し、動的チェックリストは特定の検証ステップを定義し、どのステップが推奨可能（つまり、関連性があり必要な検証証拠を提供する）またはオプション（つまり、有用である）とみなされるかについてのガイダンスを提供します。
追加の裏付けとなる検証証拠を提供するため）。
ソーシャルメディアデータから性差別を検出するユースケースにフレームワークを適用することで、フレームワークの有用性を実証します。

要約(オリジナル)

Guidance on how to validate computational text-based measures of social science constructs is fragmented. Although scholars generally acknowledge the importance of validating their text-based measures, they often lack common terminology and a unified framework to do so. This paper introduces ValiTex, a new validation framework designed to assist scholars in validly measuring social science constructs based on textual data. The framework draws on a long-established validity concept in psychometrics but extends these concepts to cover the specific needs of computational text analysis. ValiTex consists of two components, a conceptual framework and a dynamic checklist. Whereas the conceptual framework provides a general structure along distinct phases on how to approach validation, the dynamic checklist defines specific validation steps and provides guidance on which steps might be considered recommendable (i.e., providing relevant and necessary validation evidence) or optional (i.e., useful for providing additional supporting validation evidence). We demonstrate the utility of the framework by applying it to a use case of detecting sexism from social media data

arxiv情報

提供元, 利用サービス

arxiv.jp, Google