Evaluating Perceptual Distances by Fitting Binomial Distributions to Two-Alternative Forced Choice Data

要約

二者択一強制選択 (2AFC) 実験設定は視覚認識の文献で人気があり、実践者は参照画像とその画像の 2 つの歪んだバージョンで構成されるトリプレット内の距離を人間の観察者がどのように認識するかを理解することを目的としています。
これまで、これは制御された環境で行われており、トーナメント形式のアルゴリズムによって各参加者に表示される画像が決定され、歪んだ画像がランク付けされていました。
最近、クラウドソースの知覚データセットが登場しましたが、三つ子間で画像が共有されていないため、ランキングが不可能になっています。
このデータを使用して知覚距離を評価することは自明ではなく、トリプレットに関する判断の集合を二項決定に還元することに依存しています。これは最適ではなく、誤解を招く結論を導きやすいものです。
代わりに、二項分布を使用して 2AFC 実験中の基礎となる意思決定プロセスを統計的にモデル化します。
最尤推定を使用して、テストする知覚距離に条件を付けて分布を知覚判断に適合させ、密度の経験的推定間の一貫性と滑らかさを課します。
このようにして、トリプレットごとに異なる数の判断を評価することができ、一連の距離に応じた判断の尤度などの指標を計算できます。これは、ニューラル ネットワークの対応物にはない重要な要素です。

要約(オリジナル)

The two-alternative forced choice (2AFC) experimental setup is popular in the visual perception literature, where practitioners aim to understand how human observers perceive distances within triplets that consist of a reference image and two distorted versions of that image. In the past, this had been conducted in controlled environments, with a tournament-style algorithm dictating which images are shown to each participant to rank the distorted images. Recently, crowd-sourced perceptual datasets have emerged, with no images shared between triplets, making ranking impossible. Evaluating perceptual distances using this data is non-trivial, relying on reducing the collection of judgements on a triplet to a binary decision — which is suboptimal and prone to misleading conclusions. Instead, we statistically model the underlying decision-making process during 2AFC experiments using a binomial distribution. We use maximum likelihood estimation to fit a distribution to the perceptual judgements, conditioned on the perceptual distance to test and impose consistency and smoothness between our empirical estimates of the density. This way, we can evaluate a different number of judgements per triplet, and can calculate metrics such as likelihoods of judgements according to a set of distances — key ingredients that neural network counterparts lack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google