Revisiting the Impact of Pursuing Modularity for Code Generation

要約

独立した小さなビルディングブロックを統合して最終的なプログラムを構築することを目指すモジュラープログラミングは、ソフトウェア開発において望ましい実践方法とみなされてきた。しかし、最近の大規模言語モデル（LLM）をベースとしたコード生成エージェントの台頭により、この伝統的な手法は、これらの新しいツールにおいても同様に有効なのかという疑問が浮上している。本研究では、モジュール性を定量的に測定するための新しい指標を導入することで、コード生成におけるモジュール性の影響を評価する。驚くべきことに、このトピックに関する従来の常識とは異なり、モジュール性はコード生成モデルのパフォーマンスを向上させる中核的な要因ではないことがわかった。また、LLMが非モジュラーコードに比べてモジュラーコードを選好しない理由についても潜在的な説明を探る。

要約(オリジナル)

Modular programming, which aims to construct the final program by integrating smaller, independent building blocks, has been regarded as a desirable practice in software development. However, with the rise of recent code generation agents built upon large language models (LLMs), a question emerges: is this traditional practice equally effective for these new tools? In this work, we assess the impact of modularity in code generation by introducing a novel metric for its quantitative measurement. Surprisingly, unlike conventional wisdom on the topic, we find that modularity is not a core factor for improving the performance of code generation models. We also explore potential explanations for why LLMs do not exhibit a preference for modular code compared to non-modular code.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL