TEII: Think, Explain, Interact and Iterate with Large Language Models to Solve Cross-lingual Emotion Detection

要約

言語を超えた感情検出により、世界的な傾向、世論、社会現象を大規模に分析できます。
私たちは異言語感情検出の説明可能性 (EXALT) 共有タスクに参加し、感情検出サブタスクの評価セットで F1 スコア 0.6046 を達成しました。
当社のシステムは、F1 スコア絶対値でベースラインを 0.16 以上上回り、競合システムの中で 2 位にランクされました。
大規模言語モデル (LLM) ベースのモデルではファインチューニング、ゼロショット学習、および少数ショット学習を使用し、非 LLM ベースの手法では埋め込みベースの BiLSTM と KNN を使用して実験を実施しました。
さらに、Multi-Iteration Agentic Workflow と Multi-Binary-Classifier Agentic Workflow という 2 つの新しいメソッドを導入しました。
LLM ベースのアプローチが多言語感情検出で優れたパフォーマンスを提供することがわかりました。
さらに、実験したすべてのモデルを組み合わせたアンサンブルは、単一のアプローチ単独よりも高い F1 スコアをもたらしました。

要約(オリジナル)

Cross-lingual emotion detection allows us to analyze global trends, public opinion, and social phenomena at scale. We participated in the Explainability of Cross-lingual Emotion Detection (EXALT) shared task, achieving an F1-score of 0.6046 on the evaluation set for the emotion detection sub-task. Our system outperformed the baseline by more than 0.16 F1-score absolute, and ranked second amongst competing systems. We conducted experiments using fine-tuning, zero-shot learning, and few-shot learning for Large Language Model (LLM)-based models as well as embedding-based BiLSTM and KNN for non-LLM-based techniques. Additionally, we introduced two novel methods: the Multi-Iteration Agentic Workflow and the Multi-Binary-Classifier Agentic Workflow. We found that LLM-based approaches provided good performance on multilingual emotion detection. Furthermore, ensembles combining all our experimented models yielded higher F1-scores than any single approach alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google