Reinforcement Learning and Life Cycle Assessment for a Circular Economy — Towards Progressive Computer Science

要約

本稿の目的は、強化学習の手法を循環型経済におけるライフサイクルアセスメントに利用する可能性について議論し、この方向におけるいくつかの新しいアイデアを提示することである。背景を説明するために、強化学習がコンピュータ・チェス（およびそれ以外）でどのように応用され成功したかを説明する。コンピュータチェスは歴史的に「AIのショウジョウバエ」と呼ばれているように、我々は「回転ビットボード」と呼ばれる盤面表現方法を説明することから始める。本論文の前半では、ビットボード表現の概念と手番生成における（回転）ビットボードの利点について説明する。また、FUSc#（数年前にベルリン工科大学で開発されたC#によるチェスエンジン）における手生成器の具体的な実装について説明する。また、回転2値ニューラルネットワークについても簡単に説明する。 第2部では、コンピュータ・チェスにおける強化学習（およびそれ以降）を扱う。FUSc#が開発された2002年から2008年までの「最先端技術」と、「AlphaZero」に関連する画期的な技術革新を比較することで、過去15年から20年の間にこの分野でなされた進歩を例証する。AlphaZeroで開発されたアイデアの他領域への応用、例えばAlphaFold、AlphaTensor、AlphaGeometry、AlphaProofのような「他のAlpha」についてレビューする。本稿の最後では、経済パラダイムを（絶対的な）持続可能性へと変化させることがコンピュータ科学に関連する課題を提起し、我々が「進歩的なコンピュータ科学」と呼ぶものがどこまで貢献する必要があるかについて議論する。具体的な課題としては、（絶対的）持続可能性のために最適化するためのライフサイクルアセスメントを用いた循環経済における物質ループの閉鎖があり、この方向性についてのいくつかの新しいアイデアを紹介する。

要約(オリジナル)

The aim of this paper is to discuss the potential of using methods from Reinforcement Learning for Life Cycle Assessment in a circular economy, and to present some new ideas in this direction. To give some context, we explain how Reinforcement Learning was successfully applied in computer chess (and beyond). As computer chess was historically called the ‘drosophila of AI’, we start by describing a method for the board representation called ‘rotated bitboards’ that can potentially also be applied in the context of sustainability. In the first part of this paper, the concepts of the bitboard-representation and the advantages of (rotated) bitboards in move generation are explained. In order to illustrate those ideas practice, the concrete implementation of the move-generator in FUSc# (a chess engine developed at FU Berlin in C# some years ago) is described. In addition, rotated binary neural networks are discussed briefly. The second part deals with reinforcement learning in computer chess (and beyond). We exemplify the progress that has been made in this field in the last 15-20 years by comparing the ‘state of the art’ from 2002-2008, when FUSc# was developed, with the ground-breaking innovations connected to ‘AlphaZero’. We review some application of the ideas developed in AlphaZero in other domains, e.g. the ‘other Alphas’ like AlphaFold, AlphaTensor, AlphaGeometry and AlphaProof. In the final part of the paper, we discuss the computer-science related challenges that changing the economic paradigm towards (absolute) sustainability poses and in how far what we call ‘progressive computer science’ needs to contribute. Concrete challenges include the closing of material loops in a circular economy with Life Cycle Assessment in order to optimize for (absolute) sustainability, and we present some new ideas in this direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL