Mixture of Experts based Multi-task Supervise Learning from Crowds

要約

クラウドソーシングの既存の真理推論方法は、冗長ラベルとアイテムを地上の真理にマッピングすることを目的としています。
彼らは地上の真理を隠された変数として扱い、統計的または深い学習ベースの労働者行動モデルを使用して、基本真理を推測します。
ただし、グラウンドトゥルースに依存している労働者の行動モデルは、アイテム機能レベルでの労働者の行動を見落とし、不正確な特性評価につながり、真実の推論の質に悪影響を及ぼします。
このペーパーでは、群衆からのマルチタスクの監督された学習の新しいパラダイムを提案します。これにより、労働者行動モデルにおけるアイテムのグラウンドトゥルースのモデリングの必要性が排除されます。
このパラダイム内で、群衆（MMLC）からの専門家ベースのマルチタスク監視学習の混合物と呼ばれるアイテム機能レベルで労働者行動モデルを提案します。
MMLC内で2つの真理推論戦略が提案されています。
MMLC-OWFという名前の最初の戦略は、ワーカースペクトル空間でクラスタリング方法を利用して、Oracle Workerの投影ベクトルを特定します。
その後、このベクトルに基づいて生成されたラベルは、推測された真実と見なされます。
MMLC-DFと呼ばれる2番目の戦略は、MMLCモデルを採用してクラウドソーシングデータを埋め、既存の真理推論方法の有効性を高めることができます。
実験結果は、MMLC-OWFが最新の方法を上回り、MMLC-DFが既存の真理推論方法の品質を高めることを示しています。

要約(オリジナル)

Existing truth inference methods in crowdsourcing aim to map redundant labels and items to the ground truth. They treat the ground truth as hidden variables and use statistical or deep learning-based worker behavior models to infer the ground truth. However, worker behavior models that rely on ground truth hidden variables overlook workers’ behavior at the item feature level, leading to imprecise characterizations and negatively impacting the quality of truth inference. This paper proposes a new paradigm of multi-task supervised learning from crowds, which eliminates the need for modeling of items’s ground truth in worker behavior models. Within this paradigm, we propose a worker behavior model at the item feature level called Mixture of Experts based Multi-task Supervised Learning from Crowds (MMLC). Two truth inference strategies are proposed within MMLC. The first strategy, named MMLC-owf, utilizes clustering methods in the worker spectral space to identify the projection vector of the oracle worker. Subsequently, the labels generated based on this vector are considered as the inferred truth. The second strategy, called MMLC-df, employs the MMLC model to fill the crowdsourced data, which can enhance the effectiveness of existing truth inference methods. Experimental results demonstrate that MMLC-owf outperforms state-of-the-art methods and MMLC-df enhances the quality of existing truth inference methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google