Legal Minds, Algorithmic Decisions: How LLMs Apply Constitutional Principles in Complex Scenarios

要約

この論文では、大規模言語モデル (LLM)、特に GPT-4 が複雑な意思決定シナリオにおいて憲法上の原則をどのように解釈するかについて実証分析を行います。
私たちは、競合する価値観間のトレードオフを伴う生命倫理問題に関するイタリア憲法裁判所の判決を検討し、これらの問題に関するモデルによって生成された法的議論を、国家、裁判所、および申請者が提示した法的議論と比較します。
私たちの結果は、GPT-4が一貫して憲法の進歩的な解釈により密接に一致しており、多くの場合、競合する価値観を無視し、国や裁判所の穏健な立場のより保守的な視点ではなく、申請者の見解を反映していることを示しています。
私たちの実験では、GPT-4 が進歩的な法解釈を支持する明確な傾向を明らかにし、根底にあるデータバイアスの影響を強調しています。
したがって、現実世界のシナリオで整合性をテストし、意思決定プロセスにおける LLM の導入の影響を考慮することの重要性を強調します。

要約(オリジナル)

In this paper, we conduct an empirical analysis of how large language models (LLMs), specifically GPT-4, interpret constitutional principles in complex decision-making scenarios. We examine rulings from the Italian Constitutional Court on bioethics issues that involve trade-offs between competing values and compare model-generated legal arguments on these issues to those presented by the State, the Court, and the applicants. Our results indicate that GPT-4 consistently aligns more closely with progressive interpretations of the Constitution, often overlooking competing values and mirroring the applicants’ views rather than the more conservative perspectives of the State or the Court’s moderate positions. Our experiments reveal a distinct tendency of GPT-4 to favor progressive legal interpretations, underscoring the influence of underlying data biases. We thus underscore the importance of testing alignment in real-world scenarios and considering the implications of deploying LLMs in decision-making processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google