LLM-Human Pipeline for Cultural Context Grounding of Conversations

要約

会話は、文化によって異なるよく理解された社会規範に従っていることがよくあります。
たとえば、「親を名前で呼ぶ」ことは西洋​​では一般的ですが、ほとんどのアジアの文化ではまれです。
このような規範の遵守または違反によって、会話の雰囲気が左右されることがよくあります。
人間は、文化的認識を必要とする社会的状況を非常に巧みに乗り切ることができます。
ただし、NLP モデルにとってこれは困難な作業です。
この論文では、会話に「文化的コンテキスト スキーマ」を導入することで、この問題に取り組みます。
これは、(1) 感情、対話行為などの会話情報、(2) 社会規範、違反などの文化情報で構成されます。LLM を使用して、中国文化から約 23,000 の会話に対して、約 110,000 の社会規範と違反の説明を生成します。
。
文化を意識した人間の判断に照らして評価される自動検証戦略を使用して、それらを洗練します。
私たちは、インタラクティブな人間参加型フレームワークを使用して、これらの説明を「規範概念」と呼ぶ意味のある構造に編成します。
記号的な注釈を使用して、会話における規範の概念と説明を基礎にします。
最後に、取得したデータセットを感情、センチメント、対話行為の検出などの下流タスクに使用します。
これにより経験的なパフォーマンスが大幅に向上することを示します。

要約(オリジナル)

Conversations often adhere to well-understood social norms that vary across cultures. For example, while ‘addressing parents by name’ is commonplace in the West, it is rare in most Asian cultures. Adherence or violation of such norms often dictates the tenor of conversations. Humans are able to navigate social situations requiring cultural awareness quite adeptly. However, it is a hard task for NLP models. In this paper, we tackle this problem by introducing a ‘Cultural Context Schema’ for conversations. It comprises (1) conversational information such as emotions, dialogue acts, etc., and (2) cultural information such as social norms, violations, etc. We generate ~110k social norm and violation descriptions for ~23k conversations from Chinese culture using LLMs. We refine them using automated verification strategies which are evaluated against culturally aware human judgements. We organize these descriptions into meaningful structures we call ‘Norm Concepts’, using an interactive human-in-loop framework. We ground the norm concepts and the descriptions in conversations using symbolic annotation. Finally, we use the obtained dataset for downstream tasks such as emotion, sentiment, and dialogue act detection. We show that it significantly improves the empirical performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google