Insights from the Usage of the Ansible Lightspeed Code Completion Service

要約

コードを生成できるラージ言語モデル (LLM) が利用できるようになったことで、開発者の生産性を向上させるツールを作成できるようになりました。
開発者がソフトウェアを作成するために使用する統合開発環境または IDE は、LLM と対話するためのインターフェイスとしてよく使用されます。
このようなツールは数多くリリースされていますが、そのほとんどは汎用プログラミング言語に焦点を当てています。
情報技術 (IT) の自動化に不可欠な言語など、ドメイン固有の言語はあまり注目されていません。
Ansible は、YAML ベースの IT 自動化に特化した言語の 1 つです。
Ansible Lightspeed は、自然言語プロンプトを指定して Ansible YAML を生成するように明示的に設計された LLM ベースのサービスです。
このペーパーでは、まず Ansible Lightspeed サービスの設計と実装について説明します。
次に、拡張利用、ユーザーが拒否した提案の分析、ユーザー感情の分析など、さまざまな指標を使用して開発者にとっての有用性を評価します。
この分析は、3,910 人のリピーター ユーザーを含む 10,696 人の実際のユーザーについて収集されたデータに基づいています。
Ansible Lightspeed サービスと分析フレームワークのコードは、他の人が使用できるように公開されています。
私たちの知る限り、私たちの研究は、ドメイン固有言語のコード アシスタントの評価に数千人のユーザーを参加させた初めての調査です。
私たちはユーザー受け入れ率の改良版を提案しており、N 日間のユーザー維持率を示す最初のコード補完ツールです。
私たちの調査結果により、ドメイン固有のコンテキストにおける小規模な専用モデルの有効性についての洞察が得られます。
この研究が、特定のドメイン固有言語およびプログラミング言語全般のコード補完サービスを検討しているソフトウェア エンジニアリングおよび機械学習の研究者にとって参考になることを願っています。

要約(オリジナル)

The availability of Large Language Models (LLMs) which can generate code, has made it possible to create tools that improve developer productivity. Integrated development environments or IDEs which developers use to write software are often used as an interface to interact with LLMs. Although many such tools have been released, almost all of them focus on general-purpose programming languages. Domain-specific languages, such as those crucial for Information Technology (IT) automation, have not received much attention. Ansible is one such YAML-based IT automation-specific language. Ansible Lightspeed is an LLM-based service designed explicitly to generate Ansible YAML given natural language prompt. This paper first presents the design and implementation of the Ansible Lightspeed service. We then evaluate its utility to developers using diverse indicators, including extended utilization, analysis of user rejected suggestions, as well as analysis of user sentiments. The analysis is based on data collected for 10,696 real users including 3,910 returning users. The code for Ansible Lightspeed service and the analysis framework is made available for others to use. To our knowledge, our study is the first to involve thousands of users in evaluating code assistants for domain-specific languages. We propose an improved version of user acceptance rate and we are the first code completion tool to present N-Day user retention figures. With our findings we provide insights into the effectiveness of small, dedicated models in a domain-specific context. We hope this work serves as a reference for software engineering and machine learning researchers exploring code completion services for domain-specific languages in particular and programming languages in general.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google