The Impact of Large Language Models on Open-source Innovation: Evidence from GitHub Copilot

要約

大規模な言語モデル（LLM）は、ガイド付き設定での個々の生産性を向上させることが示されています。
LLMは、共同作業設定でイノベーションプロセスを変換する可能性が高いのに対し、この変換がどのような軌道に続くかは不明です。
これらのコンテキストでのイノベーションには、プロジェクトで新しい能力を獲得することにより、新しい可能性を探る能力イノベーションと、確立された能力を高め、プロジェクトの品質を向上させることで既存の財団を活用する反復的なイノベーションの両方を網羅しています。
LLMSは、共同作業のこれら2つの側面に影響を与えるかどうか、およびオープンな経験的質問はどの程度までに影響します。
オープンソース開発は、貢献の自発的でオープン/協力的な性質が技術的増強の最大の機会を提供するため、これらのイノベーションタイプに対するLLMの影響を調べるための理想的な設定を提供します。
2021年10月にGitHub Copilot（プログラミング中心のLLM）の選択的ロールアウトを中心に自然な実験を活用することにより、Githubのオープンソースプロジェクトに焦点を当てています。GithubCopilotは、RやHaskellではなくPythonや錆などのプログラミング言語を選択的にサポートしています。
全体的な貢献の大幅なジャンプを観察し、LLMSがガイド付きの環境での共同イノベーションを効果的に強化することを示唆しています。
興味深いことに、Copilotの発売により、コード開発または機能導入コミットを通じて能力イノベーションよりも、メンテナンス関連または機能反復の貢献に焦点を当てた反復的なイノベーションが増加しました。
この格差は、2022年6月のモデルアップグレード後により顕著であり、広範なコーディングアクティビティを備えたアクティブなプロジェクトで明らかになり、LLM機能と利用可能なコンテキスト情報の両方が改善されると、能力と反復イノベーションのギャップが拡大する可能性があることを示唆しています。
高価値の革新的なソリューションを奨励するための実用的および政策的意味合いについて説明します。

要約(オリジナル)

Large Language Models (LLMs) have been shown to enhance individual productivity in guided settings. Whereas LLMs are likely to also transform innovation processes in a collaborative work setting, it is unclear what trajectory this transformation will follow. Innovation in these contexts encompasses both capability innovation that explores new possibilities by acquiring new competencies in a project and iterative innovation that exploits existing foundations by enhancing established competencies and improving project quality. Whether LLMs affect these two aspects of collaborative work and to what extent is an open empirical question. Open-source development provides an ideal setting to examine LLM impacts on these innovation types, as its voluntary and open/collaborative nature of contributions provides the greatest opportunity for technological augmentation. We focus on open-source projects on GitHub by leveraging a natural experiment around the selective rollout of GitHub Copilot (a programming-focused LLM) in October 2021, where GitHub Copilot selectively supported programming languages like Python or Rust, but not R or Haskell. We observe a significant jump in overall contributions, suggesting that LLMs effectively augment collaborative innovation in an unguided setting. Interestingly, Copilot’s launch increased iterative innovation focused on maintenance-related or feature-refining contributions significantly more than it did capability innovation through code-development or feature-introducing commits. This disparity was more pronounced after the model upgrade in June 2022 and was evident in active projects with extensive coding activity, suggesting that as both LLM capabilities and/or available contextual information improve, the gap between capability and iterative innovation may widen. We discuss practical and policy implications to incentivize high-value innovative solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google