When combinations of humans and AI are useful: A systematic review and meta-analysis

要約

人間を強化するための AI の使用の増加に触発され、研究者たちは、さまざまなタスク、システム、人口を含む人間と AI システムを研究してきました。
これほど膨大な量の研究があるにもかかわらず、私たちは人間と AI を組み合わせたほうが単独よりも優れている場合についての広範な概念的理解を欠いています。
ここでは、300 以上の効果量を報告した 100 以上の最近の実験研究のメタ分析を実施することで、この疑問に取り組みました。
まず、人間と AI を組み合わせた場合、平均して、人間または AI を単独で組み合わせた場合よりもパフォーマンスが著しく悪いことがわかりました。
次に、意思決定を伴うタスクではパフォーマンスが低下し、コンテンツの作成を伴うタスクでは大幅にパフォーマンスが向上することがわかりました。
最後に、人間が AI 単独でパフォーマンスを上回った場合、組み合わせた場合にはパフォーマンスの向上が見られましたが、AI が単独で人間を上回った場合はパフォーマンスが低下したことがわかりました。
これらの発見は、人間と AI のコラボレーションの効果の不均一性を強調し、人間と AI システムを改善するための有望な道を示しています。

要約(オリジナル)

Inspired by the increasing use of AI to augment humans, researchers have studied human-AI systems involving different tasks, systems, and populations. Despite such a large body of work, we lack a broad conceptual understanding of when combinations of humans and AI are better than either alone. Here, we addressed this question by conducting a meta-analysis of over 100 recent experimental studies reporting over 300 effect sizes. First, we found that, on average, human-AI combinations performed significantly worse than the best of humans or AI alone. Second, we found performance losses in tasks that involved making decisions and significantly greater gains in tasks that involved creating content. Finally, when humans outperformed AI alone, we found performance gains in the combination, but when the AI outperformed humans alone we found losses. These findings highlight the heterogeneity of the effects of human-AI collaboration and point to promising avenues for improving human-AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google