USDC: A Dataset of $\underline{U}$ser $\underline{S}$tance and $\underline{D}$ogmatism in Long $\underline{C}$onversations

要約

さまざまなトピックに関する長い会話スレッドでユーザーの意見や立場を特定することは、パーソナライゼーション、市場調査、政治キャンペーン、カスタマー サービス、紛争解決、ターゲットを絞った広告、コンテンツ モデレーションの強化にとって非常に重要です。
したがって、このタスクを自動化するために言語モデルをトレーニングすることが重要です。
ただし、このようなモデルをトレーニングするために手動でアノテーションを収集するには、次のような複数の課題があります。1) 時間とコストがかかります。
2) 会話スレッドが非常に長くなる可能性があり、ノイズの多い注釈が含まれる可能性が高くなります。
3) 会話の中でユーザーが意見を変えるインスタンスを解釈することは、多くの場合、そのような変化は微妙であり、明示的に表現されないため、困難です。
複雑な自然言語処理 (NLP) タスクに対する大規模言語モデル (LLM) の最近の成功に触発され、Mistral Large と GPT-4 を活用して、次の 2 つのタスクに対する人間による注釈プロセスを自動化し、推論も提供します。 i) ユーザー スタンス
分類には、会話における投稿に対するユーザーのスタンスを 5 段階のスケールでラベル付けすることが含まれます。
ii) ユーザーの独断的分類。会話におけるユーザーの全体的な意見を 4 段階のスケールでラベル付けすることを扱います。
764 のマルチユーザー Reddit 会話におけるこれら 2 つの LLM からのゼロショット、ワンショット、および少数ショットのアノテーションに対する多数決は、USDC データセットのキュレーションに役立ちます。
次に、USDC を使用して、5 クラスのスタンスと 4 クラスの独断主義分類タスク用に、複数の展開可能な小型言語モデルを微調整および命令調整します。
コードとデータセットは公開されています [https://anonymous.4open.science/r/USDC-0F7F]。

要約(オリジナル)

Identifying user’s opinions and stances in long conversation threads on various topics can be extremely critical for enhanced personalization, market research, political campaigns, customer service, conflict resolution, targeted advertising, and content moderation. Hence, training language models to automate this task is critical. However, to train such models, gathering manual annotations has multiple challenges: 1) It is time-consuming and costly; 2) Conversation threads could be very long, increasing chances of noisy annotations; and 3) Interpreting instances where a user changes their opinion within a conversation is difficult because often such transitions are subtle and not expressed explicitly. Inspired by the recent success of large language models (LLMs) for complex natural language processing (NLP) tasks, we leverage Mistral Large and GPT-4 to automate the human annotation process on the following two tasks while also providing reasoning: i) User Stance classification, which involves labeling a user’s stance of a post in a conversation on a five-point scale; ii) User Dogmatism classification, which deals with labeling a user’s overall opinion in the conversation on a four-point scale. The majority voting on zero-shot, one-shot, and few-shot annotations from these two LLMs on 764 multi-user Reddit conversations helps us curate the USDC dataset. USDC is then used to finetune and instruction-tune multiple deployable small language models for the 5-class stance and 4-class dogmatism classification tasks. We make the code and dataset publicly available [https://anonymous.4open.science/r/USDC-0F7F].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google