Emotion-Aware Embedding Fusion in LLMs (Flan-T5, LLAMA 2, DeepSeek-R1, and ChatGPT 4) for Intelligent Response Generation

要約

共感的で一貫した反応は、自動配置されたチャットボットが促進された心理療法で重要です。
この研究では、精神医学的アプリケーションにおける大規模な言語モデル（LLM）の感情的および文脈的理解を高めるという課題に対処します。
階層的融合と注意メカニズムを統合する新しいフレームワークである感情を認識した埋め込み融合を紹介し、治療転写産物のセマンティックと感情の特徴に優先順位を付けます。
私たちのアプローチは、NRC感情レキシコン、ベイダー、ワードネット、センティワードネットを含む複数の感情レキシコンを組み合わせており、Flan-T5、Llama 2、Deepseek-R1、ChatGPT 4などの最先端のLLMを組み合わせています。
感情的な表現を改良するためのプーリングテクニックを備えた機能。
マルチヘッドの自己触たちや交差文学を含むアッテン形式のメカニズムは、感情的および文脈的特徴をさらに優先し、セッション全体の感情的変化の時間的モデリングを可能にします。
BERT、GPT-3、およびRobertaを使用して計算された加工された埋め込みは、Facebook AI類似性検索ベクトルデータベースに保存されており、密なベクトル空間全体で効率的な類似性検索とクラスタリングを可能にします。
ユーザーのクエリでは、関連するセグメントが取得され、LLMSのコンテキストとして提供され、共感的でコンテキスト的に関連する応答を生成する能力が向上します。
提案されたフレームワークは、AI駆動型セラピーチャットボットを含む実際の適用性を実証するために、複数の実践的なケースで評価されます。
このシステムは、既存のメンタルヘルスプラットフォームに統合して、検索された治療セッションデータに基づいてパーソナライズされた応答を生成できます。

要約(オリジナル)

Empathetic and coherent responses are critical in auto-mated chatbot-facilitated psychotherapy. This study addresses the challenge of enhancing the emotional and contextual understanding of large language models (LLMs) in psychiatric applications. We introduce Emotion-Aware Embedding Fusion, a novel framework integrating hierarchical fusion and attention mechanisms to prioritize semantic and emotional features in therapy transcripts. Our approach combines multiple emotion lexicons, including NRC Emotion Lexicon, VADER, WordNet, and SentiWordNet, with state-of-the-art LLMs such as Flan-T5, LLAMA 2, DeepSeek-R1, and ChatGPT 4. Therapy session transcripts, comprising over 2,000 samples are segmented into hierarchical levels (word, sentence, and session) using neural networks, while hierarchical fusion combines these features with pooling techniques to refine emotional representations. Atten-tion mechanisms, including multi-head self-attention and cross-attention, further prioritize emotional and contextual features, enabling temporal modeling of emotion-al shifts across sessions. The processed embeddings, computed using BERT, GPT-3, and RoBERTa are stored in the Facebook AI similarity search vector database, which enables efficient similarity search and clustering across dense vector spaces. Upon user queries, relevant segments are retrieved and provided as context to LLMs, enhancing their ability to generate empathetic and con-textually relevant responses. The proposed framework is evaluated across multiple practical use cases to demonstrate real-world applicability, including AI-driven therapy chatbots. The system can be integrated into existing mental health platforms to generate personalized responses based on retrieved therapy session data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google