Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations

要約

ファジー フィンガープリントは、解釈可能なテキスト分類技術としてうまく使用されてきましたが、他のほとんどの技術と同様に、BERT や RoBERTa などの事前トレーニングされた大規模言語モデルのパフォーマンスを大幅に上回っています。
これらのモデルは、いくつかの自然言語処理タスク、つまり会話中の感情認識 (ERC) において最先端の結果を提供しますが、解釈可能性と説明可能性が欠如しているという問題があります。
この論文では、より単純で解釈可能な大規模言語モデルベースの分類器を取得する手段として、2 つのアプローチを組み合わせて ERC を実行することを提案します。
私たちは、発話とその以前の会話ターンを事前トレーニングされた RoBERTa に供給し、文脈に埋め込まれた発話表現を取得し、それを適応させたファジー指紋分類モジュールに供給することを提案します。
私たちは、広く使用されている DailyDialog ERC ベンチマーク データセットでアプローチを検証します。このデータセットでは、はるかに軽量なモデルを使用して最先端レベルの結果が得られます。

要約(オリジナル)

Fuzzy Fingerprints have been successfully used as an interpretable text classification technique, but, like most other techniques, have been largely surpassed in performance by Large Pre-trained Language Models, such as BERT or RoBERTa. These models deliver state-of-the-art results in several Natural Language Processing tasks, namely Emotion Recognition in Conversations (ERC), but suffer from the lack of interpretability and explainability. In this paper, we propose to combine the two approaches to perform ERC, as a means to obtain simpler and more interpretable Large Language Models-based classifiers. We propose to feed the utterances and their previous conversational turns to a pre-trained RoBERTa, obtaining contextual embedding utterance representations, that are then supplied to an adapted Fuzzy Fingerprint classification module. We validate our approach on the widely used DailyDialog ERC benchmark dataset, in which we obtain state-of-the-art level results using a much lighter model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google