GerPS-Compare: Comparing NER methods for legal norm analysis

要約

NERを、ドイツ語の法律テキストの特定のサブジャンル、すなわち公共サービス行政における行政プロセスを規制する法規範のジャンルに適用する。このようなテキストの分析には、公共サービス行政の専門家によって特定された10のクラスのいずれかをインスタンス化するテキストのストレッチを特定することが含まれる。我々は、これらのクラスを検出するために名前付き固有表現認識（NER）を実行する3つの方法を調査し、比較した。その結果、ディープ識別モデルはルールベース・システムとディープ生成モデルの両方を凌駕し、後者2つはほぼ同等の性能を示し、異なるクラスでは互いを凌駕した。このやや意外な結果の主な原因は、分析に使用されたクラスが、より標準的なNERタスクで使用されるクラスとは対照的に、意味的にも構文的にも異種であるという事実であると考えられる。ディープ判別モデルは、一般的なLLMや、ルールベースのNERシステムを設計する人間の言語学者よりも、この異質性に対処するのに適しているようだ。

要約(オリジナル)

We apply NER to a particular sub-genre of legal texts in German: the genre of legal norms regulating administrative processes in public service administration. The analysis of such texts involves identifying stretches of text that instantiate one of ten classes identified by public service administration professionals. We investigate and compare three methods for performing Named Entity Recognition (NER) to detect these classes: a Rule-based system, deep discriminative models, and a deep generative model. Our results show that Deep Discriminative models outperform both the Rule-based system as well as the Deep Generative model, the latter two roughly performing equally well, outperforming each other in different classes. The main cause for this somewhat surprising result is arguably the fact that the classes used in the analysis are semantically and syntactically heterogeneous, in contrast to the classes used in more standard NER tasks. Deep Discriminative models appear to be better equipped for dealing with this heterogenerity than both generic LLMs and human linguists designing rule-based NER systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL