SIG: Speaker Identification in Literature via Prompt-Based Generation

要約

物語における引用の発言者を特定することは、文学分析において重要なタスクであり、目に見えない発言者に対する領域外の推論や、周囲の文脈に発言者への言及がない明示的なケースなど、困難なシナリオが伴います。
この研究では、シンプルで効果的なアプローチである SIG を提案します。これは、設計されたプロンプト テンプレートに基づいてタスクと見積入力を言語化する生成ベースの方法であり、話者識別パフォーマンスをさらに強化する他の補助タスクの簡単な統合も可能にします。
予測は、モデルによる直接生成から得られることも、各話者候補の最も高い生成確率によって決定されることもできます。
私たちのアプローチ設計に基づいて、SIG はドメイン外評価をサポートし、あらゆる形式の候補入力を受け入れることができるオープンワールド分類パラダイムを実現します。
私たちは、このタスクの最大のデータセットである PDNC でクロスドメイン評価とドメイン内評価の両方を実行します。実験結果は、SIG が複雑な設計の以前のベースラインを上回るパフォーマンスを示し、ゼロショット ChatGPT よりも優れており、特にハード ノン デザインで優れていることを示しています。
-明示的なシナリオが最大 17% 改善されました。
別のデータセット WP での追加の実験により、SIG の有効性がさらに裏付けられます。

要約(オリジナル)

Identifying speakers of quotations in narratives is an important task in literary analysis, with challenging scenarios including the out-of-domain inference for unseen speakers, and non-explicit cases where there are no speaker mentions in surrounding context. In this work, we propose a simple and effective approach SIG, a generation-based method that verbalizes the task and quotation input based on designed prompt templates, which also enables easy integration of other auxiliary tasks that further bolster the speaker identification performance. The prediction can either come from direct generation by the model, or be determined by the highest generation probability of each speaker candidate. Based on our approach design, SIG supports out-of-domain evaluation, and achieves open-world classification paradigm that is able to accept any forms of candidate input. We perform both cross-domain evaluation and in-domain evaluation on PDNC, the largest dataset of this task, where empirical results suggest that SIG outperforms previous baselines of complicated designs, as well as the zero-shot ChatGPT, especially excelling at those hard non-explicit scenarios by up to 17% improvement. Additional experiments on another dataset WP further corroborate the efficacy of SIG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google