Estimation of the qualification and behavior of a contributor and aggregation of his answers in a crowdsourcing context

要約

クラウドソーシングとは、専用のプラットフォームで多数の貢献者にタスクをアウトソーシングすることです。
これらのプラットフォームの群衆は非常に多様であり、不均一な品質のデータを生成する寄稿者のさまざまなプロファイルが含まれています.
ただし、プラットフォームで一般的に使用される集計方法である多数決は、各貢献に等しい重みを与えます。
この問題を克服するために、貢献者のプロファイルを推定し、信念関数の理論のおかげで考えられる不完全性を考慮して、収集されたデータを集計する方法、MONITOR を提案します。
そのために、MONITOR は、タスクに対する資格と行動を通じて貢献者のプロファイルを推定することから始めます。既存のアプローチと比較するために、実際のデータで MONITOR をテストするために必要なデータを収集するために、クラウドソーシング キャンペーンが実施されました。
実験の結果、MONITOR メソッドを使用したおかげで、多数決に比べて貢献度を集計した後の正答率が向上したことがわかりました。
この記事での私たちの貢献は、貢献者の資格と彼のプロファイルの推定における彼の行動の両方を考慮に入れたモデルの提案です。
2 つ目は、推定されたプロファイルに応じた回答の弱体化と集計です。

要約(オリジナル)

Crowdsourcing is the outsourcing of tasks to a crowd of contributors on a dedicated platform. The crowd on these platforms is very diversified and includes various profiles of contributors which generates data of uneven quality. However, majority voting, which is the aggregating method commonly used in platforms, gives equal weight to each contribution. To overcome this problem, we propose a method, MONITOR, which estimates the contributor’s profile and aggregates the collected data by taking into account their possible imperfections thanks to the theory of belief functions. To do so, MONITOR starts by estimating the profile of the contributor through his qualification for the task and his behavior.Crowdsourcing campaigns have been carried out to collect the necessary data to test MONITOR on real data in order to compare it to existing approaches. The results of the experiments show that thanks to the use of the MONITOR method, we obtain a better rate of correct answer after aggregation of the contributions compared to the majority voting. Our contributions in this article are for the first time the proposal of a model that takes into account both the qualification of the contributor and his behavior in the estimation of his profile. For the second one, the weakening and the aggregation of the answers according to the estimated profiles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google