Evaluating Perceptual Distance Models by Fitting Binomial Distributions to Two-Alternative Forced Choice Data

要約

2択強制選択(2AFC)実験法は、視覚知覚の文献でよく用いられている。実験者は、基準画像と2つの歪んだ画像からなる3連画像内の距離を、人間がどのように知覚するかを理解することを目的としている。従来、この実験法は管理された環境で行われ、3つ組の画像を共有することで、知覚される品質に順位をつけることが可能であった。このランキングは、実験データに対する知覚距離モデルの評価に使用される。近年、クラウドソーシングによる知覚データセットが登場し、トリプレット間で画像が共有されないため、ランキングをつけることが不可能になっている。このデータを用いて知覚距離モデルを評価することは、トリプレットに対する判断を二値的な判断、すなわち距離モデルが人間の判断と一致するか否かに還元することになるが、これは最適ではなく、誤解を招く結論になりやすい。その代わりに、二項分布を用いて、2AFC実験中の根本的な意思決定プロセスを統計的にモデル化する。十分な経験的データがあるため、各距離モデルに従って、参照歪み距離平面上の判断の滑らかで一貫性のある分布を推定する。最尤法を適用することにより、局所的な二項分布のパラメータを推定し、測定された応答の期待対数尤度の大域的な測定を行う。我々は、トリプレットあたりの判定数が変化する場合でも、単なる一致率としての予測精度を超えて、距離モデルに対して意味のある十分な根拠のある測定基準を計算する。

要約(オリジナル)

The two-alternative forced choice (2AFC) experimental method is popular in the visual perception literature, where practitioners aim to understand how human observers perceive distances within triplets made of a reference image and two distorted versions. In the past, this had been conducted in controlled environments, with triplets sharing images, so it was possible to rank the perceived quality. This ranking would then be used to evaluate perceptual distance models against the experimental data. Recently, crowd-sourced perceptual datasets have emerged, with no images shared between triplets, making ranking infeasible. Evaluating perceptual distance models using this data reduces the judgements on a triplet to a binary decision, namely, whether the distance model agrees with the human decision – which is suboptimal and prone to misleading conclusions. Instead, we statistically model the underlying decision-making process during 2AFC experiments using a binomial distribution. Having enough empirical data, we estimate a smooth and consistent distribution of the judgements on the reference-distorted distance plane, according to each distance model. By applying maximum likelihood, we estimate the parameter of the local binomial distribution, and a global measurement of the expected log-likelihood of the measured responses. We calculate meaningful and well-founded metrics for the distance model, beyond the mere prediction accuracy as percentage agreement, even with variable numbers of judgements per triplet — key advantages over both classical and neural network methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL