Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3

要約

大規模な言語モデル（LLM）は、さまざまな文学的なタスクで有望な結果を示しており、しばしばナレーションと架空のキャラクターの複雑な記憶された詳細を使用しています。
この作業では、小説のスピーカーに直接語り直しの発言を帰するllama-3の能力を評価します。
LLMは、28の小説のコーパスで印象的な結果を示しており、ChatGPTとエンコーダーベースのベースラインで公開された結果を大きなマージンで上回ります。
次に、本の記憶と注釈汚染の影響を評価することにより、これらの結果を検証します。
これらのタイプの暗記は、大きなパフォーマンスの利益を説明しておらず、Llama-3が英文学の引用属性の新しい最先端になることを発見しました。
コードとデータを公開します。

要約(オリジナル)

Large Language Models (LLMs) have shown promising results in a variety of literary tasks, often using complex memorized details of narration and fictional characters. In this work, we evaluate the ability of Llama-3 at attributing utterances of direct-speech to their speaker in novels. The LLM shows impressive results on a corpus of 28 novels, surpassing published results with ChatGPT and encoder-based baselines by a large margin. We then validate these results by assessing the impact of book memorization and annotation contamination. We found that these types of memorization do not explain the large performance gain, making Llama-3 the new state-of-the-art for quotation attribution in English literature. We release publicly our code and data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google