Software Engineering and Foundation Models: Insights from Industry Blogs Using a Jury of Foundation Models

要約

大規模言語モデル (LLM) などの基盤モデル (FM) は、ソフトウェア エンジニアリング (SE) を含む多くの分野に大きな影響を与えています。
SE と FM の間の相互作用により、FM の SE 実践への統合 (FM4SE) や、SE 方法論の FM への適用 (SE4FM) が生まれました。
これらの傾向に対する学術的貢献に関する文献調査はいくつか存在しますが、実践者の見解を提供するのは私たちが初めてです。
私たちは、FM を活用した調査アプローチを活用して、主要なテクノロジー企業からの 155 件の FM4SE および 997 件の SE4FM ブログ投稿を分析し、議論されている活動とタスクを体系的にラベル付けして要約します。
コード生成が最も顕著な FM4SE タスクである一方、FM はコードの理解、要約、API の推奨など、他の多くの SE アクティビティにも活用されていることがわかりました。
SE4FM のブログ投稿の大部分は、モデルのデプロイと運用、システム アーキテクチャとオーケストレーションに関するものです。
クラウド展開に重点が置かれていますが、FM を圧縮してエッジ デバイスやモバイル デバイスなどの小型デバイスに展開することへの関心が高まっています。
私たちは、学術的発見と現実世界の応用の間のギャップを埋めることを目的として、得られた洞察に触発された 8 つの将来の研究の方向性を概説します。
私たちの研究は、FM4SE および SE4FM の実践的な応用に関する一連の知識を豊かにするだけでなく、技術文献および灰色文献の領域内で文献調査を実施する際の強力かつ効率的なアプローチとしての FM の有用性を実証しています。
データセット、結果、コード、および使用されたプロンプトは、https://github.com/SAILResearch/fmse-blogs のオンライン レプリケーション パッケージにあります。

要約(オリジナル)

Foundation models (FMs) such as large language models (LLMs) have significantly impacted many fields, including software engineering (SE). The interaction between SE and FMs has led to the integration of FMs into SE practices (FM4SE) and the application of SE methodologies to FMs (SE4FM). While several literature surveys exist on academic contributions to these trends, we are the first to provide a practitioner’s view. We analyze 155 FM4SE and 997 SE4FM blog posts from leading technology companies, leveraging an FM-powered surveying approach to systematically label and summarize the discussed activities and tasks. We observed that while code generation is the most prominent FM4SE task, FMs are leveraged for many other SE activities such as code understanding, summarization, and API recommendation. The majority of blog posts on SE4FM are about model deployment & operation, and system architecture & orchestration. Although the emphasis is on cloud deployments, there is a growing interest in compressing FMs and deploying them on smaller devices such as edge or mobile devices. We outline eight future research directions inspired by our gained insights, aiming to bridge the gap between academic findings and real-world applications. Our study not only enriches the body of knowledge on practical applications of FM4SE and SE4FM but also demonstrates the utility of FMs as a powerful and efficient approach in conducting literature surveys within technical and grey literature domains. Our dataset, results, code and used prompts can be found in our online replication package at https://github.com/SAILResearch/fmse-blogs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google