Conditioning Large Language Models on Legal Systems? Detecting Punishable Hate Speech

要約

法的問題の評価には、憲法から法令、判例法まで、特定の法体系とその抽象度を考慮する必要がある。ラージ・ランゲージ・モデル（LLM）がこのような法体系をどの程度内包しているかは不明である。本稿では、LLMを法体系の抽象度ごとに条件付けするための様々なアプローチを提案し、調査する。本稿では、処罰の対象となりうるヘイトスピーチを検出するために、法システムにおいて複数の抽象度でLLMを条件付けるための様々なアプローチを検討する。我々は、特定のソーシャルメディアへの投稿が、ドイツ刑法が規定する憎悪扇動罪に該当するかどうかを分類するタスクに焦点を当てる。その結果、ヘイトスピーチの法的評価において、モデルを条件付けた抽象度にかかわらず、モデルと法律専門家の間には依然として大きな性能差があることが示された。我々の分析により、抽象的な法的知識で条件付けされたモデルは、深い課題理解に欠け、しばしば矛盾を生じたり、幻覚のような回答をしたりすることが明らかになった。一方、具体的な法的知識を用いたモデルは、関連するターゲット・グループの特定においてはそれなりに良い結果を示したが、ターゲットとなる行為の分類には苦戦した。

要約(オリジナル)

The assessment of legal problems requires the consideration of a specific legal system and its levels of abstraction, from constitutional law to statutory law to case law. The extent to which Large Language Models (LLMs) internalize such legal systems is unknown. In this paper, we propose and investigate different approaches to condition LLMs at different levels of abstraction in legal systems. This paper examines different approaches to conditioning LLMs at multiple levels of abstraction in legal systems to detect potentially punishable hate speech. We focus on the task of classifying whether a specific social media posts falls under the criminal offense of incitement to hatred as prescribed by the German Criminal Code. The results show that there is still a significant performance gap between models and legal experts in the legal assessment of hate speech, regardless of the level of abstraction with which the models were conditioned. Our analysis revealed, that models conditioned on abstract legal knowledge lacked deep task understanding, often contradicting themselves and hallucinating answers, while models using concrete legal knowledge performed reasonably well in identifying relevant target groups, but struggled with classifying target conducts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL