Comparative Analysis of Named Entity Recognition in the Dungeons and Dragons Domain

要約

NLP タスクの多くは、一般的な英語については十分に解決されていますが、ファンタジー文学などの特定の分野では課題に直面しています。
これは、テキスト内のエンティティを検出して分類する Named Entity Recognition (NER) で明らかです。
ドメイン固有のパフォーマンスを評価するために、7 冊のダンジョンズ アンド ドラゴンズ (D&D) アドベンチャー ブックの 10 個の NER モデルを分析しました。
オープンソースの大規模言語モデルを使用して、これらの本の名前付きエンティティに注釈を付け、各モデルの精度を評価しました。
私たちの調査結果は、変更を加えることなく、Flair、Trankit、および Spacy が D&D コンテキストでの名前付きエンティティの識別において他のものよりも優れていることを示しています。

要約(オリジナル)

Many NLP tasks, although well-resolved for general English, face challenges in specific domains like fantasy literature. This is evident in Named Entity Recognition (NER), which detects and categorizes entities in text. We analyzed 10 NER models on 7 Dungeons and Dragons (D&D) adventure books to assess domain-specific performance. Using open-source Large Language Models, we annotated named entities in these books and evaluated each model’s precision. Our findings indicate that, without modifications, Flair, Trankit, and Spacy outperform others in identifying named entities in the D&D context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google