Tailoring Vaccine Messaging with Common-Ground Opinions

要約

チャットボットの対話をパーソナライズする 1 つの方法は、対象読者との共通点を確立することです。
相互理解を確立することが特に影響を与える可能性がある領域は、ワクチンに関する懸念と誤った情報です。
ワクチン介入は、ワクチン接種に関して表明された懸念に答えることを目的としたメッセージングの一形態です。
多くの場合、意見にはイデオロギー上の重複がほとんどないように見えるため、この領域で応答を調整するのは困難です。
私たちはワクチン介入を共通根拠意見（CGO）に合わせて調整するというタスクを定義します。
CGO への応答を調整するには、読者が抱いている意見や信念に応答を関連付けることによって、応答を有意義に改善することが含まれます。
この論文では、提供された CGO に応じて応答がどの程度適切に調整されているかを評価するためのデータセット TAILOR-CGO を紹介します。
このタスクに関して、いくつかの主要な LLM のベンチマークを行います。
GPT-4-Turbo のパフォーマンスが他のものよりも大幅に優れていることがわかりました。
また、微調整された LLM を上回る効率的で正確な BERT モデルなどの自動評価指標を構築し、CGO に合わせてワクチン メッセージを適切に調整する方法を調査し、この調査から実用的な推奨事項を提供します。
コードとモデルの重み: https://github.com/rickardstureborg/tailor-cgo データセット: https://huggingface.co/datasets/DukeNLP/tailor-cgo

要約(オリジナル)

One way to personalize chatbot interactions is by establishing common ground with the intended reader. A domain where establishing mutual understanding could be particularly impactful is vaccine concerns and misinformation. Vaccine interventions are forms of messaging which aim to answer concerns expressed about vaccination. Tailoring responses in this domain is difficult, since opinions often have seemingly little ideological overlap. We define the task of tailoring vaccine interventions to a Common-Ground Opinion (CGO). Tailoring responses to a CGO involves meaningfully improving the answer by relating it to an opinion or belief the reader holds. In this paper we introduce TAILOR-CGO, a dataset for evaluating how well responses are tailored to provided CGOs. We benchmark several major LLMs on this task; finding GPT-4-Turbo performs significantly better than others. We also build automatic evaluation metrics, including an efficient and accurate BERT model that outperforms finetuned LLMs, investigate how to successfully tailor vaccine messaging to CGOs, and provide actionable recommendations from this investigation. Code and model weights: https://github.com/rickardstureborg/tailor-cgo Dataset: https://huggingface.co/datasets/DukeNLP/tailor-cgo

arxiv情報

提供元, 利用サービス

arxiv.jp, Google