Identifying Performance-Sensitive Configurations in Software Systems through Code Analysis with LLM Agents

要約

構成設定は、特定のパフォーマンス要件を満たすようにソフトウェアの動作を調整するために不可欠です。
ただし、誤った構成が蔓延しており、可能な設定の数が膨大で複雑であるため、システムのパフォーマンスに影響を与える構成を特定するのは困難です。
この作業では、大規模言語モデル (LLM) を活用して、最小限のオーバーヘッドでパフォーマンス重視の構成を効率的に識別する軽量フレームワークである PerfSense を紹介します。
PerfSense は LLM エージェントを採用し、プロンプト チェーンや検索拡張生成 (RAG) などの高度なプロンプト技術を使用して、開発者とパフォーマンス エンジニアの間の対話をシミュレートします。
7 つのオープンソース Java システムの評価では、PerfSense がパフォーマンス重視の構成の分類において平均 64.77% の精度を達成し、LLM ベースライン (50.36%) と以前の最先端の方法 (61.75%) の両方を上回るパフォーマンスを示していることが実証されました。
。
特に、プロンプトチェーン技術により、同様の精度レベルを維持しながら再現率が 10% ～ 30% 向上します。
さらに、362 件の誤分類を手動で分析すると、LLM による要件の誤解 (26.8%) など、一般的な問題が明らかになりました。
要約すると、PerfSense はパフォーマンス重視の構成を分類する際の手動の労力を大幅に削減し、将来の LLM ベースのコード分析研究に貴重な洞察を提供します。

要約(オリジナル)

Configuration settings are essential for tailoring software behavior to meet specific performance requirements. However, incorrect configurations are widespread, and identifying those that impact system performance is challenging due to the vast number and complexity of possible settings. In this work, we present PerfSense, a lightweight framework that leverages Large Language Models (LLMs) to efficiently identify performance-sensitive configurations with minimal overhead. PerfSense employs LLM agents to simulate interactions between developers and performance engineers using advanced prompting techniques such as prompt chaining and retrieval-augmented generation (RAG). Our evaluation of seven open-source Java systems demonstrates that PerfSense achieves an average accuracy of 64.77% in classifying performance-sensitive configurations, outperforming both our LLM baseline (50.36%) and the previous state-of-the-art method (61.75%). Notably, our prompt chaining technique improves recall by 10% to 30% while maintaining similar precision levels. Additionally, a manual analysis of 362 misclassifications reveals common issues, including LLMs’ misunderstandings of requirements (26.8%). In summary, PerfSense significantly reduces manual effort in classifying performance-sensitive configurations and offers valuable insights for future LLM-based code analysis research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google