Visual Validation versus Visual Estimation: A Study on the Average Value in Scatterplots

要約

私たちは、個人がデータへの適合に関して統計モデルを視覚的に検証する能力を調査します。
視覚的モデルの推定は広く研究されていますが、視覚的モデルの検証は依然として十分に研究されていません。
人々がどの程度視覚的にモデルを検証できるか、またそのパフォーマンスが視覚的および計算による推定とどのように比較できるかは不明です。
出発点として、私たちは 2 つの母集団 (クラウドソーシングとボランティア) を対象に調査を実施しました。
参加者は、頻繁に研究される平均値のモデルを視覚的に推定 (つまり、描画) し、視覚的に検証 (つまり、受け入れるか拒否する) の両方を行う必要がありました。
どちらの母集団でも、有効であるとみなされたモデルの精度レベルは、推定されたモデルの精度よりも低かった。
参加者の検証と推定は公平であったことがわかりました。
さらに、特定の平均値を受け入れるか拒否するかの自然な臨界点は、95% 信頼区間の境界に近く、視覚的に認識される信頼区間が一般的な統計標準に対応していることを示しています。
私たちの研究は、視覚的なモデル検証の理解に貢献し、新たな研究の機会を開きます。

要約(オリジナル)

We investigate the ability of individuals to visually validate statistical models in terms of their fit to the data. While visual model estimation has been studied extensively, visual model validation remains under-investigated. It is unknown how well people are able to visually validate models, and how their performance compares to visual and computational estimation. As a starting point, we conducted a study across two populations (crowdsourced and volunteers). Participants had to both visually estimate (i.e, draw) and visually validate (i.e., accept or reject) the frequently studied model of averages. Across both populations, the level of accuracy of the models that were considered valid was lower than the accuracy of the estimated models. We find that participants’ validation and estimation were unbiased. Moreover, their natural critical point between accepting and rejecting a given mean value is close to the boundary of its 95% confidence interval, indicating that the visually perceived confidence interval corresponds to a common statistical standard. Our work contributes to the understanding of visual model validation and opens new research opportunities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google