ValiTex — a unified validation framework for computational text-based measures of social science constructs

要約

社会科学の構成要素の計算テキストベースの測定を検証する方法に関するガイダンスは断片的です。
学者はテキストベースの測定値を検証することの重要性を一般に認識していますが、多くの場合、それを行うための共通の用語や統一されたフレームワークが不足しています。
この論文では、学者がテキストデータに基づいて社会科学の構成を測定できるように設計された、ValiTex と呼ばれる新しい検証フレームワークを紹介します。
このフレームワークは、心理測定学の中で長年確立されてきた伝統を活用しながら、計算によるテキスト分析の目的でフレームワークを拡張しています。
ValiTex は、概念モデルと動的チェックリストの 2 つのコンポーネントで構成されています。
概念モデルは、検証にどのようにアプローチするかについて個別のフェーズに沿った一般的な構造を提供するのに対し、動的チェックリストは特定の検証ステップを定義し、どのステップが推奨可能（つまり、関連性があり必要な検証証拠を提供する）またはオプション（つまり、有用である）とみなされるかについてのガイダンスを提供します。
フレームワークの有用性は、ソーシャル メディア データから性差別を検出するユース ケースに適用することで実証されます。

要約(オリジナル)

Guidance on how to validate computational text-based measures of social science constructs is fragmented. Whereas scholars are generally acknowledging the importance of validating their text-based measures, they often lack common terminology and a unified framework to do so. This paper introduces a new validation framework called ValiTex, designed to assist scholars to measure social science constructs based on textual data. The framework draws on a long-established tradition within psychometrics while extending the framework for the purpose of computational text analysis. ValiTex consists of two components, a conceptual model, and a dynamic checklist. Whereas the conceptual model provides a general structure along distinct phases on how to approach validation, the dynamic checklist defines specific validation steps and provides guidance on which steps might be considered recommendable (i.e., providing relevant and necessary validation evidence) or optional (i.e., useful for providing additional supporting validation evidence. The utility of the framework is demonstrated by applying it to a use case of detecting sexism from social media data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google