Enhancing LLMs for Power System Simulations: A Feedback-driven Multi-agent Framework

要約

実験技術と大規模な言語モデル（LLMS）の統合は、科学的研究を変革しています。
AIは、単なる問題解決ツールではなく、多目的な研究助手として位置付けられています。
ただし、電力システムの分野では、シミュレーションの管理（重要な実験技術の1つ）は、ドメイン固有の知識が限られていること、制限された推論能力、シミュレーションパラメーターの不正確な取り扱いにより、LLMの課題のままです。
これらの制限に対処するために、このペーパーでは、フィードバック駆動型のマルチエージェントフレームワークを提案しています。
提案された3つのモジュールが組み込まれています。検索された検索（RAG）モジュールの強化、改善された推論モジュール、エラーフィードバックメカニズムを備えた動的環境作用モジュールです。
DalineとMatpowerからの69の多様なタスクで検証されたこのフレームワークは、それぞれ93.13％と96.85％の成功率を達成します。
CHATGPT 4O、O1-PREVIEW、および微調整されたGPT-4Oを大幅に上回り、すべて複雑なタスクで30％未満の成功率を達成しました。
さらに、提案されたフレームワークは、迅速で費用対効果の高いタスクの実行もサポートし、各シミュレーションをトークンの平均コスト0.014 USDで約30秒で完了します。
全体として、この適応可能なフレームワークは、人間の研究者向けのインテリジェントLLMベースのアシスタントを開発し、電力システムの研究を促進するための基盤を築きます。

要約(オリジナル)

The integration of experimental technologies with large language models (LLMs) is transforming scientific research. It positions AI as a versatile research assistant rather than a mere problem-solving tool. In the field of power systems, however, managing simulations — one of the essential experimental technologies — remains a challenge for LLMs due to their limited domain-specific knowledge, restricted reasoning capabilities, and imprecise handling of simulation parameters. To address these limitations, this paper proposes a feedback-driven, multi-agent framework. It incorporates three proposed modules: an enhanced retrieval-augmented generation (RAG) module, an improved reasoning module, and a dynamic environmental acting module with an error-feedback mechanism. Validated on 69 diverse tasks from Daline and MATPOWER, this framework achieves success rates of 93.13% and 96.85%, respectively. It significantly outperforms ChatGPT 4o, o1-preview, and the fine-tuned GPT-4o, which all achieved a success rate lower than 30% on complex tasks. Additionally, the proposed framework also supports rapid, cost-effective task execution, completing each simulation in approximately 30 seconds at an average cost of 0.014 USD for tokens. Overall, this adaptable framework lays a foundation for developing intelligent LLM-based assistants for human researchers, facilitating power system research and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google