Modeling Resilience of Collaborative AI Systems

要約

協調型人工知能システム (CAIS) は、共通の目標を達成するために人間と協力してアクションを実行します。
CAIS は、トレーニングされた AI モデルを使用して人間とシステムのインタラクションを制御したり、人間のインタラクションを使用してオンライン形式で人間から動的に学習したりできます。
人間のフィードバックを伴うオンライン学習では、学習状態ではシステム センサーを介して人間の対話を監視することで AI モデルが進化し、運用状態では学習に基づいて CAIS の自律コンポーネントを作動させます。
したがって、これらのセンサーに影響を与える破壊的なイベントは、正確な意思決定を行う AI モデルの能力に影響を与え、CAIS のパフォーマンスを低下させる可能性があります。
したがって、CAIS 管理者にとって、システム パフォーマンスを自動的に追跡して、このような破壊的なイベントに対する CAIS の回復力を理解できることが最も重要です。
このペーパーでは、システムに破壊的なイベントが発生したときの CAIS パフォーマンスをモデル化するための新しいフレームワークを提供します。
私たちのフレームワークを使用して、CAIS のパフォーマンス進化のモデルを紹介します。
このモデルには、システムに必要な回復力を達成するための意思決定プロセスにおいて CAIS マネージャーをサポートすることを目的とした一連の対策が装備されています。
私たちは、システムに破壊的なイベントが発生したときに、人間とオンラインで協力するロボットの実世界のケーススタディでフレームワークをテストしました。
このケーススタディは、私たちのフレームワークが CAIS に採用され、CAIS 活動のオンライン実行に統合できることを示しています。

要約(オリジナル)

A Collaborative Artificial Intelligence System (CAIS) performs actions in collaboration with the human to achieve a common goal. CAISs can use a trained AI model to control human-system interaction, or they can use human interaction to dynamically learn from humans in an online fashion. In online learning with human feedback, the AI model evolves by monitoring human interaction through the system sensors in the learning state, and actuates the autonomous components of the CAIS based on the learning in the operational state. Therefore, any disruptive event affecting these sensors may affect the AI model’s ability to make accurate decisions and degrade the CAIS performance. Consequently, it is of paramount importance for CAIS managers to be able to automatically track the system performance to understand the resilience of the CAIS upon such disruptive events. In this paper, we provide a new framework to model CAIS performance when the system experiences a disruptive event. With our framework, we introduce a model of performance evolution of CAIS. The model is equipped with a set of measures that aim to support CAIS managers in the decision process to achieve the required resilience of the system. We tested our framework on a real-world case study of a robot collaborating online with the human, when the system is experiencing a disruptive event. The case study shows that our framework can be adopted in CAIS and integrated into the online execution of the CAIS activities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google