ValiTex — a unified validation framework for computational text-based measures of social science constructs

要約

社会科学の構成要素の計算テキストベースの測定を検証する方法に関するガイダンスは断片的です。
学者は一般に、テキストベースの測定値を検証することの重要性を認識していますが、多くの場合、それを行うための共通の用語や統一されたフレームワークが不足しています。
この論文では、学者がテキストデータに基づいて社会科学の構成を有効に測定できるように設計された新しい検証フレームワークである ValiTex を紹介します。
ValiTex は、研究者に 3 種類の妥当性証拠を証明するよう指示しています。すなわち、実質的証拠 (測定の理論的基礎の概要を説明する)、構造的証拠 (テキスト モデルとその出力の特性を調べる)、および外部証拠 (測定が独立したデータとどのように関係するかをテストする) です。
情報）。
ValiTex は、フレームワークに加えて、さまざまなユースケースに適応できるチェックリストを通じて、貴重な実践的なガイダンスを提供します。
チェックリストは、特定の検証ステップを明確に定義および概要を示していると同時に、妥当性を確立するための各検証ステップの重要性についての知識に基づいた評価も提供します。
ソーシャルメディアデータから性差別を検出するユースケースにフレームワークを適用することで、フレームワークの有用性を実証します。

要約(オリジナル)

Guidance on how to validate computational text-based measures of social science constructs is fragmented. While scholars generally acknowledge the importance of validating their text-based measures, they often lack common terminology and a unified framework to do so. This paper introduces ValiTex, a new validation framework designed to assist scholars in validly measuring social science constructs based on textual data. ValiTex prescribes researchers to demonstrate three types of validity evidence: substantive evidence (outlining the theoretical underpinning of the measure), structural evidence (examining the properties of the text model and its output), and external evidence (testing for how the measure relates to independent information). In addition to the framework, ValiTex offers valuable practical guidance through a checklist that is adaptable for different use cases. The checklist clearly defines and outlines specific validation steps while also offering a knowledgeable evaluation of the importance of each validation step to establish validity. We demonstrate the utility of the framework by applying it to a use case of detecting sexism from social media data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google