How to Enhance Causal Discrimination of Utterances: A Case on Affective Reasoning

要約

会話における感情的推論（ARC）タスクに関する私たちの調査は、因果的差別の課題を浮き彫りにしました。
大規模言語モデル (LLM) を含むほとんどすべての既存のモデルは、発話の埋め込み内の意味相関を捉えることに優れていますが、特定の因果関係を判断することには不十分です。
この制限を克服するために、\textit{i.i.d.} ノイズ用語を会話プロセスに組み込み、それによって構造的因果モデル (SCM) を構築することを提案します。
独立した条件を通じて、適合された埋め込みの明確な因果関係をどのように識別できるかを調査します。
深層学習の実装を容易にするために、非構造化会話データを処理するための cogn フレームワークを導入し、観察できないノイズを学習可能な「暗黙の原因」と見なすオートエンコーダー アーキテクチャを採用しています。
さらに、i.i.d. を含む合成データセットを厳選します。
ノイズ。
包括的な実験を通じて、私たちはアプローチの有効性と解釈可能性を検証します。
私たちのコードは https://github.com/Zodiark-ch/mater-of-our-EMNLP2023-paper で入手できます。

要約(オリジナル)

Our investigation into the Affective Reasoning in Conversation (ARC) task highlights the challenge of causal discrimination. Almost all existing models, including large language models (LLMs), excel at capturing semantic correlations within utterance embeddings but fall short in determining the specific causal relationships. To overcome this limitation, we propose the incorporation of \textit{i.i.d.} noise terms into the conversation process, thereby constructing a structural causal model (SCM). It explores how distinct causal relationships of fitted embeddings can be discerned through independent conditions. To facilitate the implementation of deep learning, we introduce the cogn frameworks to handle unstructured conversation data, and employ an autoencoder architecture to regard the unobservable noise as learnable ‘implicit causes.’ Moreover, we curate a synthetic dataset that includes i.i.d. noise. Through comprehensive experiments, we validate the effectiveness and interpretability of our approach. Our code is available in https://github.com/Zodiark-ch/mater-of-our-EMNLP2023-paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google