An LLM-Based Digital Twin for Optimizing Human-in-the Loop Systems

要約

サイバーフィジカル システムとモノのインターネット (CPS-IoT) アプリケーションと基盤モデルの普及が進んでおり、環境のリアルタイム制御を活用する新しいアプリケーションが可能になっています。
たとえば、暖房、換気、空調 (HVAC) システムをリアルタイムに制御すると、乗員の快適さのために必要のないときはシステムの使用量を減らすことができ、エネルギー消費を削減できます。
しかし、このようなヒューマンインザループ (HITL) システムで人間の好みに関するリアルタイムのフィードバックを収集することは、実際には困難です。
CPS 最適化における動的な環境と入手困難なデータの課題に対処するために、大規模言語モデル (LLM) の使用を提案します。
この論文では、LLM エージェントを使用して、ショッピング モール内のさまざまな人口グループ (若い家族、高齢者など) の行動と温度の好みを模倣するケーススタディを紹介します。
集約された温度設定は、エージェントインザループベースの強化学習アルゴリズム AitL-RL に統合されます。AitL-RL は、物理環境の動的シミュレーションとして LLM を使用して、エネルギー節約と居住者の快適性の間でバランスをとる方法を学習します。
私たちの結果は、LLM が広い空間内で複雑な人口移動をシミュレートできることを示しています。
さらに、AitL-RL は、一般的な設定値制御の既存のポリシーと比較して優れたパフォーマンスを示しており、CPS-IoT アプリケーションの効率的な最適化には、適応的でパーソナライズされた意思決定が重要であることが示唆されています。
このケーススタディを通じて、LLM のような高度な基盤モデルを CPS-IoT に統合して、システムの適応性と効率を向上させる可能性を実証します。
プロジェクトのコードは、GitHub リポジトリにあります。

要約(オリジナル)

The increasing prevalence of Cyber-Physical Systems and the Internet of Things (CPS-IoT) applications and Foundation Models are enabling new applications that leverage real-time control of the environment. For example, real-time control of Heating, Ventilation and Air-Conditioning (HVAC) systems can reduce its usage when not needed for the comfort of human occupants, hence reducing energy consumption. Collecting real-time feedback on human preferences in such human-in-the-loop (HITL) systems, however, is difficult in practice. We propose the use of large language models (LLMs) to deal with the challenges of dynamic environments and difficult-to-obtain data in CPS optimization. In this paper, we present a case study that employs LLM agents to mimic the behaviors and thermal preferences of various population groups (e.g. young families, the elderly) in a shopping mall. The aggregated thermal preferences are integrated into an agent-in-the-loop based reinforcement learning algorithm AitL-RL, which employs the LLM as a dynamic simulation of the physical environment to learn how to balance between energy savings and occupant comfort. Our results show that LLMs are capable of simulating complex population movements within large open spaces. Besides, AitL-RL demonstrates superior performance compared to the popular existing policy of set point control, suggesting that adaptive and personalized decision-making is critical for efficient optimization in CPS-IoT applications. Through this case study, we demonstrate the potential of integrating advanced Foundation Models like LLMs into CPS-IoT to enhance system adaptability and efficiency. The project’s code can be found on our GitHub repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google