Towards an Understanding of Context Utilization in Code Intelligence

要約

コードインテリジェンスは、さまざまなコード関連のタスクの有効性と効率を向上させることを目的としたソフトウェアエンジニアリングの新しいドメインです。
最近の調査では、基本的な元のタスク入力（つまり、ソースコード）を超えてコンテキスト情報を組み込むと、モデルのパフォーマンスが大幅に向上する可能性があることが示唆されています。
このようなコンテキスト信号は、APIドキュメントなどのソースや、抽象的な構文ツリーなどの中間表現などのソースから直接または間接的に取得できます。
学問的関心が高まっているにもかかわらず、コードインテリジェンスのコンテキストの体系的な分析が不足しています。
このギャップに対処するために、2007年9月から2024年8月に発行された146の関連研究の広範な文献レビューを実施します。調査では4つの主要な貢献が得られます。
（1）出版傾向、会場、探索されたドメインを含む研究環境の定量分析。
（2）コードインテリジェンスで使用されるコンテキストタイプの新しい分類法。
（3）多様なコードインテリジェンスタスク全体のコンテキスト統合戦略を調査するタスク指向の分析。
（4）コンテキスト認識方法の評価方法の批判的評価。
これらの調査結果に基づいて、現在のコードインテリジェンスシステムのコンテキスト利用における基本的な課題を特定し、将来の研究の重要な機会を概説する研究ロードマップを提案します。

要約(オリジナル)

Code intelligence is an emerging domain in software engineering, aiming to improve the effectiveness and efficiency of various code-related tasks. Recent research suggests that incorporating contextual information beyond the basic original task inputs (i.e., source code) can substantially enhance model performance. Such contextual signals may be obtained directly or indirectly from sources such as API documentation or intermediate representations like abstract syntax trees can significantly improve the effectiveness of code intelligence. Despite growing academic interest, there is a lack of systematic analysis of context in code intelligence. To address this gap, we conduct an extensive literature review of 146 relevant studies published between September 2007 and August 2024. Our investigation yields four main contributions. (1) A quantitative analysis of the research landscape, including publication trends, venues, and the explored domains; (2) A novel taxonomy of context types used in code intelligence; (3) A task-oriented analysis investigating context integration strategies across diverse code intelligence tasks; (4) A critical evaluation of evaluation methodologies for context-aware methods. Based on these findings, we identify fundamental challenges in context utilization in current code intelligence systems and propose a research roadmap that outlines key opportunities for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google