A Formalisation of the Purpose Framework: the Autonomy-Alignment Problem in Open-Ended Learning Robots

要約

人工知能の前例のない進歩により、ますます自律的なロボットの開発が可能になります。
これらのロボットには、特に工学的な工場の設定を超えて、人間が住む非構造化された環境で動作するように移動する上で、重要な可能性があります。
ただし、この可能性は、関連する自律整列問題を生成し、ロボットの自律学習プロセスが、人間の実用的な目的を達成するために関連する知識を習得することに焦点を当てていることを保証しますが、その行動は依然としてより広い目的と一致しています。
文献はこの問題に対処し始めているだけであり、概念的、用語、正式な枠組みがまだ不足しています。
ここでは、問題の最も挑戦的な例の1つに取り組みます。自己生成された目標と本質的な動機に導かれた環境との直接的な相互作用を通じて、累積的に新しいスキルと知識を獲得できる自律的なオープンエンド学習（OEL）ロボットです。
特に、自律性と制御のバランスをとるOELロボットアーキテクチャの設計をサポートするために、まず定性的に導入され、次に正式化された計算フレームワークを提案します。
フレームワークは、目的の斬新な概念にピボットします。
人間の目的は、人間（デザイナーやユーザーなど）が、自律性の特定の境界内で、それが動作するドメインとは独立して、ロボットに学習、行う、またはしないかを指定します。
複数の目的の間の仲裁。
特定のドメイン依存のロボット目標への目的の基礎。
そして、これらの目標を達成するために能力の獲得が必要でした。
フレームワークとその潜在的なユーティリティは、その内部に囲まれた仮想的な例シナリオの議論を通じてさらに解明されます。

要約(オリジナル)

The unprecedented advancement of artificial intelligence enables the development of increasingly autonomous robots. These robots hold significant potential, particularly in moving beyond engineered factory settings to operate in the unstructured environments inhabited by humans. However, this possibility also generates a relevant autonomy-alignment problem to ensure that robots’ autonomous learning processes still focus on acquiring knowledge relevant to accomplish human practical purposes, while their behaviour still aligns with their broader purposes. The literature has only begun to address this problem, and a conceptual, terminological, and formal framework is still lacking. Here we address one of the most challenging instances of the problem: autonomous open-ended learning (OEL) robots, capable of cumulatively acquiring new skills and knowledge through direct interaction with the environment, guided by self-generated goals and intrinsic motivations. In particular, we propose a computational framework, first introduced qualitatively and then formalised, to support the design of OEL robot architectures that balance autonomy and control. The framework pivots on the novel concept of purpose. A human purpose specifies what humans (e.g., designers or users) want the robot to learn, do or not do, within a certain boundary of autonomy and independently of the domains in which it operates.The framework decomposes the autonomy-alignment problem into more tractable sub-problems: the alignment of `robot purposes’ with human purposes, either by hardwiring or through learning; the arbitration between multiple purposes; the grounding of purposes into specific domain-dependent robot goals; and the competence acquisition needed to accomplish these goals. The framework and its potential utility are further elucidated through the discussion of hypothetical example scenarios framed within it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google