Trust Calibration in IDEs: Paving the Way for Widespread Adoption of AI Refactoring

要約

ソフトウェア業界では、新しい機能を追加する意欲が、既存のコードを改善する必要性に影を落とすことがよくあります。
大規模言語モデル (LLM) は、AI 支援リファクタリングを通じて、前例のない規模でコードベースを改善する新しいアプローチを提供します。
ただし、LLM には、重大な変更やセキュリティ脆弱性の導入などの固有のリスクが伴います。
私たちは、モデルとの対話を IDE にカプセル化し、信頼できる保護手段を使用してリファクタリングの試行を検証することを推奨します。
ただし、AI リファクタリングの導入にとって同様に重要なのは、信頼開発に関する研究です。
このポジションペーパーでは、オートメーションにおけるヒューマンファクターの研究から得られた確立されたモデルに基づいて、私たちの将来の取り組みを位置づけます。
1) 新しい LLM セーフガードと 2) 適切なレベルの信頼を伝えるユーザー インタラクションの開発に関する CodeScene 内でのアクション リサーチの概要を説明します。
業界の協力により、大規模なリポジトリ分析と A/B テストが可能になり、調査介入の設計を継続的にガイドできます。

要約(オリジナル)

In the software industry, the drive to add new features often overshadows the need to improve existing code. Large Language Models (LLMs) offer a new approach to improving codebases at an unprecedented scale through AI-assisted refactoring. However, LLMs come with inherent risks such as braking changes and the introduction of security vulnerabilities. We advocate for encapsulating the interaction with the models in IDEs and validating refactoring attempts using trustworthy safeguards. However, equally important for the uptake of AI refactoring is research on trust development. In this position paper, we position our future work based on established models from research on human factors in automation. We outline action research within CodeScene on development of 1) novel LLM safeguards and 2) user interaction that conveys an appropriate level of trust. The industry collaboration enables large-scale repository analysis and A/B testing to continuously guide the design of our research interventions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google