LLM-Human Pipeline for Cultural Context Grounding of Conversations

要約

会話はしばしば、文化全体で異なる社会的規範を理解していることに従います。
たとえば、「名前で親を扱う」は西洋では一般的ですが、ほとんどのアジア文化ではまれです。
そのような規範の順守または違反は、しばしば会話のテナーを決定します。
人間は、文化的認識を非常に巧妙に必要とする社会的状況をナビゲートすることができます。
ただし、NLPモデルにとっては難しい作業です。
この論文では、会話のために「文化的文脈スキーマ」を導入することにより、この問題に取り組みます。
（1）感情、対話行為などの会話情報、および（2）LLMSを使用した中国文化からの〜23kの会話のための〜110kの社会的規範と違反の説明を生成します。
文化的に認識している人間の判断に対して評価される自動化された検証戦略を使用して、それらを改良します。
これらの説明を、インタラクティブなヒューマンループフレームワークを使用して、「ノルム概念」と呼ぶ意味のある構造に整理します。
象徴的な注釈を使用して、会話の規範の概念と説明を接地します。
最後に、感情、感情、対話法検出などの下流タスクに取得したデータセットを使用します。
経験的パフォーマンスが大幅に向上することを示します。

要約(オリジナル)

Conversations often adhere to well-understood social norms that vary across cultures. For example, while ‘addressing parents by name’ is commonplace in the West, it is rare in most Asian cultures. Adherence or violation of such norms often dictates the tenor of conversations. Humans are able to navigate social situations requiring cultural awareness quite adeptly. However, it is a hard task for NLP models. In this paper, we tackle this problem by introducing a ‘Cultural Context Schema’ for conversations. It comprises (1) conversational information such as emotions, dialogue acts, etc., and (2) cultural information such as social norms, violations, etc. We generate ~110k social norm and violation descriptions for ~23k conversations from Chinese culture using LLMs. We refine them using automated verification strategies which are evaluated against culturally aware human judgements. We organize these descriptions into meaningful structures we call ‘Norm Concepts’, using an interactive human-in-loop framework. We ground the norm concepts and the descriptions in conversations using symbolic annotation. Finally, we use the obtained dataset for downstream tasks such as emotion, sentiment, and dialogue act detection. We show that it significantly improves the empirical performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google