The Shutdown Problem: Three Theorems

要約

シャットダウン問題について説明します。(1) シャットダウン ボタンが押されるとシャットダウンする、(2) シャットダウン ボタンの押下を妨げたり引き起こそうとしない、(3) それ以外の場合は目標を追求するという人工エージェントの設計の問題です。
有能に。
難易度を正確にする 3 つの定理を証明します。
これらの定理は、無害に見える条件を満たすエージェントは、コストがかかる場合であっても、シャットダウン ボタンの押下を妨げたり、押させようとすることが多いことを示しています。
そして、忍耐力はシャットダウン可能性とトレードオフになります。エージェントが忍耐強くなればなるほど、エージェントがシャットダウン ボタンを操作するために負担するコストも大きくなります。
最後に、これらの定理が解決策の探索に役立つことを指摘して終わります。

要約(オリジナル)

I explain the shutdown problem: the problem of designing artificial agents that (1) shut down when a shutdown button is pressed, (2) don’t try to prevent or cause the pressing of the shutdown button, and (3) otherwise pursue goals competently. I prove three theorems that make the difficulty precise. These theorems show that agents satisfying some innocuous-seeming conditions will often try to prevent or cause the pressing of the shutdown button, even in cases where it’s costly to do so. And patience trades off against shutdownability: the more patient an agent, the greater the costs that agent is willing to incur to manipulate the shutdown button. I end by noting that these theorems can guide our search for solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google