Leveraging Large Language Models (LLMs) to Support Collaborative Human-AI Online Risk Data Annotation

要約

このポジション ペーパーでは、人間のプログラマーと AI の間のコラボレーションを促進し、大規模なオンライン リスク データに効果的に注釈を付けるためのインタラクティブな調査ツールとして LLM を活用する可能性について説明します。
人間と AI の協調的なラベル付けは、さまざまなタスクの大規模で複雑なデータに注釈を付けるための有望なアプローチです。
しかし、データ注釈のための人間と AI の効果的なコラボレーションをサポートするツールや方法は十分に研究されていません。
共同ラベル付けタスクは、特に非常に主観的で文脈化されたオンライン リスクの文脈において、ニュアンスや文脈を追加できる双方向の対話型ディスカッションをサポートする必要があるため、このギャップは適切です。
したがって、リスク アノテーションに LLM ベースのツールを使用する初期の利点と課題の一部を提供し、HCI 研究コミュニティがコンテキスト化されたオンライン データ アノテーションにおける人間と AI のコラボレーションを促進する研究ツールとして LLM を活用するという将来の方向性を提案します。
私たちの研究関心は、HCI 研究でデータを扱うために LLM を使用する際の進行中のアプリケーションと課題を特定するという、研究ツールとしての LLM ワークショップの目的と非常によく一致しています。
LLM が HCI コミュニティのデータ操作方法の再構築にどのように役立つかについて、主催者や参加者から貴重な洞察が得られることを期待しています。

要約(オリジナル)

In this position paper, we discuss the potential for leveraging LLMs as interactive research tools to facilitate collaboration between human coders and AI to effectively annotate online risk data at scale. Collaborative human-AI labeling is a promising approach to annotating large-scale and complex data for various tasks. Yet, tools and methods to support effective human-AI collaboration for data annotation are under-studied. This gap is pertinent because co-labeling tasks need to support a two-way interactive discussion that can add nuance and context, particularly in the context of online risk, which is highly subjective and contextualized. Therefore, we provide some of the early benefits and challenges of using LLMs-based tools for risk annotation and suggest future directions for the HCI research community to leverage LLMs as research tools to facilitate human-AI collaboration in contextualized online data annotation. Our research interests align very well with the purposes of the LLMs as Research Tools workshop to identify ongoing applications and challenges of using LLMs to work with data in HCI research. We anticipate learning valuable insights from organizers and participants into how LLMs can help reshape the HCI community’s methods for working with data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google