A Transformer-Based Approach for Smart Invocation of Automatic Code Completion

要約

Transformer ベースの言語モデルはコード補完に非常に効果的であり、これらの補完の内容を強化することに多くの研究が捧げられています。
これらのモデルは効果的であるにもかかわらず、運用コストが高く、特に頻繁に提案を行ったり、作業に集中している開発者の邪魔をしたりする場合には、煩わしい場合があります。
現在の研究では、これらのモデルが実際に開発者とどのように対話するかがほとんど見落とされており、開発者が完了の提案をいつ受け取るべきかについては無視されています。
この問題に取り組むために、コード コンテキストと利用可能なテレメトリ データを考慮して、コード補完ツールをいつ呼び出すかを正確に予測できる機械学習モデルを開発しました。
そのために、クロス IDE コード補完プラグインを使用した 200,000 件の開発者の対話のデータセットを収集し、いくつかの呼び出しフィルタリング モデルをトレーニングします。
私たちの結果は、小規模変圧器モデルが十分に低い遅延を維持しながら、ベースラインを大幅に上回っていることを示しています。
追加のテレメトリ データを事前トレーニングされたトランスフォーマーに直接統合するための検索空間をさらに調査し、有望な結果が得られます。
私たちのアプローチの実用的な可能性をさらに実証するために、34 人の開発者が参加するオンライン環境にモデルをデプロイし、74,000 回の実際の呼び出しに基づいて現実世界の洞察を提供しました。

要約(オリジナル)

Transformer-based language models are highly effective for code completion, with much research dedicated to enhancing the content of these completions. Despite their effectiveness, these models come with high operational costs and can be intrusive, especially when they suggest too often and interrupt developers who are concentrating on their work. Current research largely overlooks how these models interact with developers in practice and neglects to address when a developer should receive completion suggestions. To tackle this issue, we developed a machine learning model that can accurately predict when to invoke a code completion tool given the code context and available telemetry data. To do so, we collect a dataset of 200k developer interactions with our cross-IDE code completion plugin and train several invocation filtering models. Our results indicate that our small-scale transformer model significantly outperforms the baseline while maintaining low enough latency. We further explore the search space for integrating additional telemetry data into a pre-trained transformer directly and obtain promising results. To further demonstrate our approach’s practical potential, we deployed the model in an online environment with 34 developers and provided real-world insights based on 74k actual invocations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google