要約
人工知能を通じてソフトウェア開発を強化するために設計された高度な自律システムである SuperCoder2.0 を紹介します。
このシステムは、AI ネイティブの開発アプローチとインテリジェント エージェントを組み合わせて、完全に自律的なコーディングを可能にします。
主な重点領域には、エラー出力トレースバックを備えた再試行メカニズム、リンティングの問題を最小限に抑えるための抽象構文ツリー (ast) 解析を使用した包括的なコードの書き換えと置換、検索拡張生成のためのコード埋め込み技術、および問題解決のための方法のローカライズへの重点が含まれます。
特定の行番号を識別するよりも。
この方法論では、コード ベースのナビゲーションとバグの位置特定のために 3 段階の階層型検索スペース削減アプローチを採用しています。つまり、検索拡張生成 (RAG) とリポジトリ ファイル レベル マップを利用して候補ファイルを特定し、(2)
ファイル レベルの概略図、および (3) これらのファイル内の「関連する場所」を抽出します。
コード編集は、CodeGeneration と CodeEditing で構成される 2 つの部分からなるモジュールを通じて実行されます。このモジュールは、異なる温度値で複数のソリューションを生成し、コードの整合性を維持するためにメソッドまたはクラス全体を置き換えます。
フィードバック ループはリポジトリ レベルのテスト ケースを実行して、ソリューションを検証および改良します。
SWE-bench Lite データセットで行われた実験では、SuperCoder2.0 の有効性が実証され、上位 5 候補内のケースの 84.33% で正しいファイル ローカリゼーションが達成され、テスト インスタンスの 34% が正常に解決されました。
このパフォーマンスにより、SuperCoder2.0 は SWE ベンチ リーダーボードで世界 4 位にランクされます。
多様なリポジトリや問題の種類を処理できるこのシステムの能力は、自律的なソフトウェア開発のための多用途ツールとしての可能性を際立たせています。
今後の作業は、コード編集プロセスを改良し、自然言語からコードへのマッピングを改善するための高度な埋め込みモデルの探索に焦点を当てます。
要約(オリジナル)
We present SuperCoder2.0, an advanced autonomous system designed to enhance software development through artificial intelligence. The system combines an AI-native development approach with intelligent agents to enable fully autonomous coding. Key focus areas include a retry mechanism with error output traceback, comprehensive code rewriting and replacement using Abstract Syntax Tree (ast) parsing to minimize linting issues, code embedding technique for retrieval-augmented generation, and a focus on localizing methods for problem-solving rather than identifying specific line numbers. The methodology employs a three-step hierarchical search space reduction approach for code base navigation and bug localization:utilizing Retrieval Augmented Generation (RAG) and a Repository File Level Map to identify candidate files, (2) narrowing down to the most relevant files using a File Level Schematic Map, and (3) extracting ‘relevant locations’ within these files. Code editing is performed through a two-part module comprising CodeGeneration and CodeEditing, which generates multiple solutions at different temperature values and replaces entire methods or classes to maintain code integrity. A feedback loop executes repository-level test cases to validate and refine solutions. Experiments conducted on the SWE-bench Lite dataset demonstrate SuperCoder2.0’s effectiveness, achieving correct file localization in 84.33% of cases within the top 5 candidates and successfully resolving 34% of test instances. This performance places SuperCoder2.0 fourth globally on the SWE-bench leaderboard. The system’s ability to handle diverse repositories and problem types highlights its potential as a versatile tool for autonomous software development. Future work will focus on refining the code editing process and exploring advanced embedding models for improved natural language to code mapping.
arxiv情報
| 著者 | Anmol Gautam,Kishore Kumar,Adarsh Jha,Mukunda NS,Ishaan Bhola |
| 発行日 | 2024-09-17 13:44:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google