Auditing the Ethical Logic of Generative AI Models

要約

生成AIモデルがハイステークスドメインにますます統合されるようになるにつれて、倫理的推論を評価するための堅牢な方法の必要性がますます重要になります。
このペーパーでは、主要な大手言語モデル（LLMS）の倫理論理を評価するために、分析品質、倫理的考慮事項の幅、説明の深さ、一貫性、決定性の評価 – 5次元監査モデルを紹介します。
応用倫理と高次の思考からの伝統を利用して、私たちは、多様な文脈にわたるモデルの推論を調査するために、新しい倫理的ジレンマを含む多ぶらぶら迅速なアプローチを提示します。
7つの主要なLLMSベンチマークでは、モデルは一般に倫理的決定に収束しますが、説明的な厳密さと道徳的優先順位が異なることを発見しました。
考えのチェーンプロンプトと推論が最適化されたモデルは、監査メトリックのパフォーマンスを大幅に向上させます。
この研究では、AIシステムの倫理的ベンチマークのためのスケーラブルな方法論を紹介し、AIが複雑な意思決定の文脈で人間の道徳的推論を補完する可能性を強調しています。

要約(オリジナル)

As generative AI models become increasingly integrated into high-stakes domains, the need for robust methods to evaluate their ethical reasoning becomes increasingly important. This paper introduces a five-dimensional audit model — assessing Analytic Quality, Breadth of Ethical Considerations, Depth of Explanation, Consistency, and Decisiveness — to evaluate the ethical logic of leading large language models (LLMs). Drawing on traditions from applied ethics and higher-order thinking, we present a multi-battery prompt approach, including novel ethical dilemmas, to probe the models’ reasoning across diverse contexts. We benchmark seven major LLMs finding that while models generally converge on ethical decisions, they vary in explanatory rigor and moral prioritization. Chain-of-Thought prompting and reasoning-optimized models significantly enhance performance on our audit metrics. This study introduces a scalable methodology for ethical benchmarking of AI systems and highlights the potential for AI to complement human moral reasoning in complex decision-making contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google