Auto-COP: Adaptation Generation in Context-Oriented Programming using Reinforcement Learning Options

要約

自己適応型ソフトウェアシステムは、コンテキストとして捉えられる実行環境の内外の変化に応じて継続的に適応する。COPパラダイムは、自己適応型システムを開発するための技法を提唱し、その主な特徴を特殊なプログラミング言語構成要素でとらえる。COPの適応は、周囲の環境から感知された状況に応じてコンテキストがアクティブになったり非アクティブになったりするため、基本システムの内外に構成される独立したモジュールとして指定される。しかし、適応の定義、そのコンテキスト、関連する特殊な動作は、設計時に指定する必要がある。複雑なCPSでは、予測不可能な新しい動作条件が発生するため、これは困難である。我々は、実行時に適応の生成を可能にする新しい手法であるAuto-COPを提案する。Auto-COPは、システム実行の過去のインスタンスに基づいて、アクションシーケンスを構築するためにRLオプションを使用する。オプションは環境との相互作用の中で探索され、各コンテキストに最適なオプションがCOPを利用した適応を生成するために使用される。Auto-COPを検証するために、異なるシステム特性と応用領域を示す2つのケーススタディを紹介する。適応を必要とする状況（コンテキスト）の種類と、各コンテキストに対応する生成された適応を説明するために、実行時に生成されたAuto-COPコードの例を示す。我々は、生成された適応が、ドメイン固有のパフォーマンスメトリクスによって測定された正しいシステム動作を示すことを確認する一方、必要な実行／作動ステップ数を2分の1に削減し、適応動作が原始的動作の実行よりも適切であるため、実行中のシステムによって適応が定期的に選択されることを示す。

要約(オリジナル)

Self-adaptive software systems continuously adapt in response to internal and external changes in their execution environment, captured as contexts. The COP paradigm posits a technique for the development of self-adaptive systems, capturing their main characteristics with specialized programming language constructs. COP adaptations are specified as independent modules composed in and out of the base system as contexts are activated and deactivated in response to sensed circumstances from the surrounding environment. However, the definition of adaptations, their contexts and associated specialized behavior, need to be specified at design time. In complex CPS this is intractable due to new unpredicted operating conditions. We propose Auto-COP, a new technique to enable generation of adaptations at run time. Auto-COP uses RL options to build action sequences, based on the previous instances of the system execution. Options are explored in interaction with the environment, and the most suitable options for each context are used to generate adaptations exploiting COP. To validate Auto-COP, we present two case studies exhibiting different system characteristics and application domains: a driving assistant and a robot delivery system. We present examples of Auto-COP code generated at run time, to illustrate the types of circumstances (contexts) requiring adaptation, and the corresponding generated adaptations for each context. We confirm that the generated adaptations exhibit correct system behavior measured by domain-specific performance metrics, while reducing the number of required execution/actuation steps by a factor of two showing that the adaptations are regularly selected by the running system as adaptive behavior is more appropriate than the execution of primitive actions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL