要約
この論文は、対話参加者に関する情報を抽出し、ロシア語でのパフォーマンスを評価する方法の研究を紹介しています。
このタスク用にモデルをトレーニングするために、マルチセッション チャット データセットが複数の翻訳モデルを使用してロシア語に翻訳され、その結果データ品質が向上しました。
抽出モデルの有効性を評価するために、F スコアの概念に基づく指標が提示されます。
このメトリクスは、トレーニングされた分類子を使用して、ペルソナが属する対話参加者を識別します。
実験は、MBart、FRED-T5、Mistral モデルに基づく Starling-7B、および Encoder2Encoder モデルで実施されました。
結果は、すべてのモデルがペルソナ抽出タスクにおける再現レベルが不十分であることを示しました。
NCE 損失を組み込むことで、リコールを犠牲にしてモデルの精度が向上しました。
さらに、モデルのサイズを大きくすることで、ペルソナの抽出が強化されました。
要約(オリジナル)
The paper presents a study of methods for extracting information about dialogue participants and evaluating their performance in Russian. To train models for this task, the Multi-Session Chat dataset was translated into Russian using multiple translation models, resulting in improved data quality. A metric based on the F-score concept is presented to evaluate the effectiveness of the extraction models. The metric uses a trained classifier to identify the dialogue participant to whom the persona belongs. Experiments were conducted on MBart, FRED-T5, Starling-7B, which is based on the Mistral, and Encoder2Encoder models. The results demonstrated that all models exhibited an insufficient level of recall in the persona extraction task. The incorporation of the NCE Loss improved the model’s precision at the expense of its recall. Furthermore, increasing the model’s size led to enhanced extraction of personas.
arxiv情報
| 著者 | Konstantin Zaitsev |
| 発行日 | 2024-07-12 11:30:10+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google