Power-up! What Can Generative Models Do for Human Computation Workflows?

要約

私たちは人工知能の研究、特に大規模言語モデル (LLM) に関する研究の爆発的な渦中にいます。
これらのモデルは、医療、金融、常識知識グラフ、クラウドソーシングなどの分野にわたって幅広い用途があります。
クラウドソーシング ワークフローの一部としての LLM の調査は、依然として十分に調査されていない領域です。
クラウドソーシングの研究コミュニティは、人間と AI のハイブリッド手法を使用して複雑なタスクを管理するためのワークフローと方法を調査する一連の研究成果を生み出しました。
クラウドソーシングにおける LLM の役割は、ワークフローの大きな歯車のようなものであると考えることができます。
経験的な観点から見ると、LLM がクラウドソーシング ワークフローの有効性をどのように向上させることができるか、またそのようなワークフローをどのように評価できるかについては、現在ほとんど理解されていません。
この研究では、クラウドソーシング パラダイムに関与するさまざまな関係者 (タスクの依頼者、クラウド ワーカー、プラットフォーム、エンド ユーザー) の観点から、このギャップを調査するためのビジョンを提示します。
私たちは、LLM の導入が有益な役割を果たすことができる典型的なクラウドソーシング ワークフローの分岐点を特定し、クラウド ワーク用の既存の設計パターンを強化する手段を提案します。

要約(オリジナル)

We are amidst an explosion of artificial intelligence research, particularly around large language models (LLMs). These models have a range of applications across domains like medicine, finance, commonsense knowledge graphs, and crowdsourcing. Investigation into LLMs as part of crowdsourcing workflows remains an under-explored space. The crowdsourcing research community has produced a body of work investigating workflows and methods for managing complex tasks using hybrid human-AI methods. Within crowdsourcing, the role of LLMs can be envisioned as akin to a cog in a larger wheel of workflows. From an empirical standpoint, little is currently understood about how LLMs can improve the effectiveness of crowdsourcing workflows and how such workflows can be evaluated. In this work, we present a vision for exploring this gap from the perspectives of various stakeholders involved in the crowdsourcing paradigm — the task requesters, crowd workers, platforms, and end-users. We identify junctures in typical crowdsourcing workflows at which the introduction of LLMs can play a beneficial role and propose means to augment existing design patterns for crowd work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google