A Human Subject Study of Named Entity Recognition (NER) in Conversational Music Recommendation Queries

要約

私たちは、多くの不規則で斬新な名前付きエンティティを含む会話型音楽レコメンデーション クエリのノイズの多いコーパスで、名前付きエンティティ認識の人間を対象とした研究を実施しました。
これらの困難な状況における人間の NER 言語動作を評価し、現在最も一般的な NER システムである微調整された変換器と比較しました。
私たちの目標は、より良い評価方法と NER アルゴリズムの設計を導くタスクについて学ぶことでした。
結果は、私たちのコンテキストでのNERは、厳密な評価スキーマの下で人間とアルゴリズムの両方にとって非常に難しいことを示しました。
人間はより高い精度を持っていましたが、モデルは特に事前トレーニング中にエンティティにさらされたため、リコールが高くなりました。
エンティティ タイプにはさまざまなエラー パターンがありました (たとえば、アーティストの頻繁な入力エラーなど)。
リリースされたコーパスは、事前定義された相互作用のフレームを超えており、会話型音楽レコメンデーションの将来の作業をサポートできます。

要約(オリジナル)

We conducted a human subject study of named entity recognition on a noisy corpus of conversational music recommendation queries, with many irregular and novel named entities. We evaluated the human NER linguistic behaviour in these challenging conditions and compared it with the most common NER systems nowadays, fine-tuned transformers. Our goal was to learn about the task to guide the design of better evaluation methods and NER algorithms. The results showed that NER in our context was quite hard for both human and algorithms under a strict evaluation schema; humans had higher precision, while the model higher recall because of entity exposure especially during pre-training; and entity types had different error patterns (e.g. frequent typing errors for artists). The released corpus goes beyond predefined frames of interaction and can support future work in conversational music recommendation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google