ValiTex — a unified validation framework for computational text-based measures of social constructs

要約

計算機によるテキストベースの社会構成尺度の検証方法に関するガイダンスは断片的である。一般的に、研究者はテキストベースの尺度を検証することの重要性を認識しているが、そのための共通の語彙や統一されたフレームワークが欠如していることが多い。本稿では、テキストデータにおける社会構成概念の妥当性測定を支援するために設計された、新しい検証フレームワークであるValiTextを紹介する。このフレームワークは、社会科学における妥当性の概念的基礎の上に構築されており、社会科学における妥当性検証の実践に関する実証的レビューと専門家との協議によって強化されている。最終的にValiTextは、研究者が3種類の検証証拠を示すよう規定している。実質的証拠（尺度の理論的裏付けを概説）、構造的証拠（テキストモデルとその出力の特性を検証）、外部証拠（尺度と独立した情報との関連性を検証）である。このフレームワークは、検証ステップのチェックリストによってさらに補足されており、検証プロセスにおいて研究者をガイドする文書化シートの形で実践的なガイダンスを提供している。

要約(オリジナル)

Guidance on how to validate computational text-based measures of social constructs is fragmented. While researchers generally acknowledge the importance of validating text-based measures, they often lack a shared vocabulary and a unified framework to do so. This paper introduces ValiText, a new validation framework designed to assist scholars in validly measuring social constructs in textual data. The framework is built on a conceptual foundation of validity in the social sciences, strengthened by an empirical review of validation practices in the social sciences and consultations with experts. Ultimately, ValiText prescribes researchers to demonstrate three types of validation evidence: substantive evidence (outlining the theoretical underpinning of the measure), structural evidence (examining the properties of the text model and its output) and external evidence (testing for how the measure relates to independent information). The framework is further supplemented by a checklist of validation steps, offering practical guidance in the form of documentation sheets that guide researchers in the validation process.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL