Genes in Intelligent Agents

要約

自然界の遺伝子は、数十億年にわたる伝達と蓄積を通じて、地球上の生命に現在の生物学的知性を与えています。
人工知能 (AI) は、生物学的知能にインスピレーションを得て、機械知能の構築に専念してきました。
機械知能は大きな成功を収めてきましたが、依然として生物学的知能には大きく遅れをとっています。
その理由は、動物は遺伝子に組み込まれた何らかの知性を持って生まれてくるが、機械にはそのような知性が欠如しており、ゼロから学習することにあると考えられる。
私たちは動物の遺伝子からインスピレーションを得て、機械の「遺伝子」を「学習遺伝子」と名付けて定義し、遺伝強化学習（GRL）を提案します。
GRL は、強化学習 (RL) で生物の進化をシミュレートし、学習遺伝子を活用して知能エージェントを学習および進化させる計算フレームワークです。
GRL を活用して、学習遺伝子がエージェントのニューラル ネットワークの断片の形をとり、世代を超えて継承できることを初めて示します。
次に、学習遺伝子が祖先の経験をエージェントに伝達し、エージェントに本能と強力な学習能力をもたらすことができることを検証します。
第三に、知的エージェントのラマルク的継承と学習遺伝子の継続的な進化を正当化します。
全体として、学習遺伝子は機械知能を生物学的知能に向けてさらに一歩前進させました。

要約(オリジナル)

The genes in nature give the lives on earth the current biological intelligence through transmission and accumulation over billions of years. Inspired by the biological intelligence, artificial intelligence (AI) has devoted to building the machine intelligence. Although it has achieved thriving successes, the machine intelligence still lags far behind the biological intelligence. The reason may lie in that animals are born with some intelligence encoded in their genes, but machines lack such intelligence and learn from scratch. Inspired by the genes of animals, we define the “genes” of machines named as the “learngenes” and propose the Genetic Reinforcement Learning (GRL). GRL is a computational framework that simulates the evolution of organisms in reinforcement learning (RL) and leverages the learngenes to learn and evolve the intelligence agents. Leveraging GRL, we first show that the learngenes take the form of the fragments of the agents’ neural networks and can be inherited across generations. Second, we validate that the learngenes can transfer ancestral experience to the agents and bring them instincts and strong learning abilities. Third, we justify the Lamarckian inheritance of the intelligent agents and the continuous evolution of the learngenes. Overall, the learngenes have taken the machine intelligence one more step toward the biological intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google