LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs

要約

LLM は、これまで人間の能力に限定されていると考えられていたクラウドソーシングのタスクにおいて、人間のような動作を再現することに期待を示しています。
ただし、現在の取り組みは主に単純なアトミック タスクに焦点を当てています。
LLM がより複雑なクラウドソーシング パイプラインを複製できるかどうかを調査します。
最新の LLM はこれらの「人間計算アルゴリズム」でクラウドワーカーの能力の一部をシミュレートできることがわかりましたが、成功のレベルは変動し、LLM の機能、サブタスクに必要な特定のスキル、および最適なインタラクションに対する要求者の理解に影響されます。
これらのサブタスクを実行するためのモダリティ。
私たちは、指示に対する人間と LLM の異なる感受性について考察し、LLM に対して人が直面する安全策を可能にすることの重要性を強調し、補完的なスキルセットを備えた人間と LLM を訓練する可能性について議論します。
重要なのは、クラウドソーシング パイプラインの複製が、(1) さまざまなタスクにおける LLM の相対的な強み (サブタスクでのパフォーマンスを相互比較することによる)、および (2) 複雑なタスクにおける LLM の可能性を調査するための貴重なプラットフォームであることを示しています。
タスクの一部を完了し、他のタスクを人間に任せることができます。

要約(オリジナル)

LLMs have shown promise in replicating human-like behavior in crowdsourcing tasks that were previously thought to be exclusive to human abilities. However, current efforts focus mainly on simple atomic tasks. We explore whether LLMs can replicate more complex crowdsourcing pipelines. We find that modern LLMs can simulate some of crowdworkers’ abilities in these ‘human computation algorithms,’ but the level of success is variable and influenced by requesters’ understanding of LLM capabilities, the specific skills required for sub-tasks, and the optimal interaction modality for performing these sub-tasks. We reflect on human and LLMs’ different sensitivities to instructions, stress the importance of enabling human-facing safeguards for LLMs, and discuss the potential of training humans and LLMs with complementary skill sets. Crucially, we show that replicating crowdsourcing pipelines offers a valuable platform to investigate (1) the relative strengths of LLMs on different tasks (by cross-comparing their performances on sub-tasks) and (2) LLMs’ potential in complex tasks, where they can complete part of the tasks while leaving others to humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google