Full Characterization of Adaptively Strong Majority Voting in Crowdsourcing

要約

クラウドソーシングでは、品質管理は通常、従業員にアイテムを検査させ、その正しさに投票させることで実現されます。
信頼性の低い従業員の回答の影響を最小限に抑えるために、$\delta$ マージン投票プロセスが利用されます。このプロセスでは、従業員間の合意に関する所定のしきい値 $\delta$ を超えるまで追加の投票が求められます。
このプロセスは広く採用されていますが、ヒューリスティックとしてのみ採用されています。
私たちの研究では、クラウドソーシング プロセスで重要なこの投票プロセスの特性を分析するための吸収マルコフ連鎖を使用したモデリング アプローチを紹介します。
結果として得られるコンセンサス投票の質、コンセンサスに必要な予想投票数、投票要件の分散、およびその他の分配モーメントについて、閉形式の方程式を提供します。
私たちの調査結果は、さまざまな精度レベルの作業者を雇用する投票プロセス全体で品質の同等性を達成するために、しきい値 $\delta$ をどのように調整できるかを示しています。
また、期待される回答精度レベルが異なる投票プロセスに対して、効率を均等化する支払いレートも提供します。
さらに、私たちのモデルは、さまざまな程度の難易度を持つ項目と、各例の難易度に関する不確実性を考慮します。
実際のクラウドソーシングされた投票データを使用した私たちのシミュレーションは、コンセンサス集計プロセスの特徴付けにおける理論モデルの有効性を検証します。
私たちの研究結果は、実際のクラウドソーシングアプリケーションに有効に活用できます。

要約(オリジナル)

In crowdsourcing, quality control is commonly achieved by having workers examine items and vote on their correctness. To minimize the impact of unreliable worker responses, a $\delta$-margin voting process is utilized, where additional votes are solicited until a predetermined threshold $\delta$ for agreement between workers is exceeded. The process is widely adopted but only as a heuristic. Our research presents a modeling approach using absorbing Markov chains to analyze the characteristics of this voting process that matter in crowdsourced processes. We provide closed-form equations for the quality of resulting consensus vote, the expected number of votes required for consensus, the variance of vote requirements, and other distribution moments. Our findings demonstrate how the threshold $\delta$ can be adjusted to achieve quality equivalence across voting processes that employ workers with varying accuracy levels. We also provide efficiency-equalizing payment rates for voting processes with different expected response accuracy levels. Additionally, our model considers items with varying degrees of difficulty and uncertainty about the difficulty of each example. Our simulations, using real-world crowdsourced vote data, validate the effectiveness of our theoretical model in characterizing the consensus aggregation process. The results of our study can be effectively employed in practical crowdsourcing applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google