Multi-line AI-assisted Code Authoring

要約

CodeCompose は、大規模言語モデル (LLM) を利用した AI 支援のコード オーサリング ツールで、Meta の何万人もの開発者にインライン提案を提供します。
このペーパーでは、製品を単一行の提案の表示から複数行の提案に拡張した方法を説明します。
この進化により、開発者にとってこれらの提案の使いやすさを向上させるために、いくつかの固有の課題を克服する必要がありました。
まず、LLM の提案が開発者の既存のコード内を絶えず移動するため、複数行の提案がどのように「不快な」効果をもたらす可能性があるかについて説明します。そうしないと、生産性と満足度が低下することになります。
次に、複数行の提案は生成にかなり時間がかかります。
したがって、ユーザーが感じる待ち時間を短縮するために行ったいくつかの革新的な投資を紹介します。
これらのモデル ホスティングの最適化により、複数行の提案のレイテンシーが 2.5 倍高速化されました。
最後に、私たちは何万人ものエンジニアを対象に実験を実施して、複数行の提案がユーザー エクスペリエンスにどのような影響を与えるかを理解し、これを単一行の提案と対比します。
私たちの実験によると、(i) 複数行の提案は、受け入れられた文字全体の 42% を占めています (表示された提案は 16% しか占めていないにも関わらず) (ii) 複数行の提案により、ユーザーが節約できるキーストロークの割合が 9% からほぼ 2 倍になりました。
17%。
複数行の CodeCompose は Meta のすべてのエンジニアに展開されており、複数行の提案をオプトアウトしたエンジニアは 1% 未満です。

要約(オリジナル)

CodeCompose is an AI-assisted code authoring tool powered by large language models (LLMs) that provides inline suggestions to 10’s of thousands of developers at Meta. In this paper, we present how we scaled the product from displaying single-line suggestions to multi-line suggestions. This evolution required us to overcome several unique challenges in improving the usability of these suggestions for developers. First, we discuss how multi-line suggestions can have a ‘jarring’ effect, as the LLM’s suggestions constantly move around the developer’s existing code, which would otherwise result in decreased productivity and satisfaction. Second, multi-line suggestions take significantly longer to generate; hence we present several innovative investments we made to reduce the perceived latency for users. These model-hosting optimizations sped up multi-line suggestion latency by 2.5x. Finally, we conduct experiments on 10’s of thousands of engineers to understand how multi-line suggestions impact the user experience and contrast this with single-line suggestions. Our experiments reveal that (i) multi-line suggestions account for 42% of total characters accepted (despite only accounting for 16% for displayed suggestions) (ii) multi-line suggestions almost doubled the percentage of keystrokes saved for users from 9% to 17%. Multi-line CodeCompose has been rolled out to all engineers at Meta, and less than 1% of engineers have opted out of multi-line suggestions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google