Taking AI Welfare Seriously

要約

このレポートでは、近い将来、一部の AI システムが意識的および/または強力なエージェント機能を持つようになる現実的な可能性があると主張します。
これは、AI の福祉と道徳的忍耐の見通し、つまり、独自の利益と道徳的重要性を持つ AI システムの見通しが、もはや SF や遠い将来だけの問題ではないことを意味します。
これは近い将来の問題であり、AI 企業やその他の関係者は、この問題に真剣に取り組み始める責任があります。
また、AI 企業やその他の主体がとるべき 3 つの初期段階を推奨します。彼らは、(1) AI の福祉が重要かつ困難な問題であることを認識し (そして言語モデルの出力も同様であることを保証する)、(2) AI システムの評価を開始できます。
(3) 適切なレベルの道徳的配慮を持って AI システムを扱うためのポリシーと手順を準備する。
明確にしておきますが、このレポートでの私たちの主張は、AI システムが間違いなく意識的で、強力にエージェント的であり、道徳的に重要であるということではありません。
むしろ、私たちの主張は、これらの可能性についてはかなりの不確実性があるため、AI の福祉についての理解を深め、この問題について賢明な決定を下す能力を向上させる必要がある、というものです。
そうしないと、AI の福祉に関する決定を誤って処理し、道徳的に重要な AI システムを誤って傷つけたり、道徳的に重要ではない AI システムを誤って配慮したりするという重大なリスクがあります。

要約(オリジナル)

In this report, we argue that there is a realistic possibility that some AI systems will be conscious and/or robustly agentic in the near future. That means that the prospect of AI welfare and moral patienthood, i.e. of AI systems with their own interests and moral significance, is no longer an issue only for sci-fi or the distant future. It is an issue for the near future, and AI companies and other actors have a responsibility to start taking it seriously. We also recommend three early steps that AI companies and other actors can take: They can (1) acknowledge that AI welfare is an important and difficult issue (and ensure that language model outputs do the same), (2) start assessing AI systems for evidence of consciousness and robust agency, and (3) prepare policies and procedures for treating AI systems with an appropriate level of moral concern. To be clear, our argument in this report is not that AI systems definitely are, or will be, conscious, robustly agentic, or otherwise morally significant. Instead, our argument is that there is substantial uncertainty about these possibilities, and so we need to improve our understanding of AI welfare and our ability to make wise decisions about this issue. Otherwise there is a significant risk that we will mishandle decisions about AI welfare, mistakenly harming AI systems that matter morally and/or mistakenly caring for AI systems that do not.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google