Low impact agency: review and discussion

要約

強力な人工知能は、AIがその目標を追求するために世界を劇的に変化させることを決定した場合、実存的な脅威となる。低影響型人工知能の希望は、これが世界に大きな影響を引き起こすからといって、それをしないようにAIにインセンティブを与えることである。本作品では、まず低インパクト機関の概念と、この問題にアプローチするためのこれまでの提案を概観し、低インパクト性がAIを安全にするために有用であることを目標に、このテーマにおける今後の研究の方向性を提案します。

要約(オリジナル)

Powerful artificial intelligence poses an existential threat if the AI decides to drastically change the world in pursuit of its goals. The hope of low-impact artificial intelligence is to incentivize AI to not do that just because this causes a large impact in the world. In this work, we first review the concept of low-impact agency and previous proposals to approach the problem, and then propose future research directions in the topic, with the goal to ensure low-impactedness is useful in making AI safe.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL