The potential of LLMs for coding with low-resource and domain-specific programming languages

要約

この論文では、通常、効果的な LLM 処理技術に必要なデータ量が不足している低リソースおよびドメイン固有のプログラミング言語でのコーディングに、ラージ言語モデル (LLM) を使用する実現可能性に関する研究を紹介します。
この研究は、オープンソース ソフトウェア gretl の hansl という計量スクリプト言語に焦点を当てており、GPT-3.5 に基づく独自の LLM を採用しています。
私たちの調査結果は、LLM が gretl コードの作成、理解、改善、文書化に役立つツールである可能性があることを示唆しています。これには、関数の説明的な docstring の生成や、抽象的で文書化が不十分な計量経済コードの正確な説明の提供などが含まれます。
LLM は、docstring からコードへの変換機能の促進を紹介しましたが、コードの特定のセクションを改善したり、正確な単体テストを作成したりできないなど、いくつかの制限も明らかにしました。
この研究は、LLM の力を活用して、低リソースのプログラミング言語でのソフトウェア開発を促進し、最終的には導入の障壁を下げるための一歩です。

要約(オリジナル)

This paper presents a study on the feasibility of using large language models (LLM) for coding with low-resource and domain-specific programming languages that typically lack the amount of data required for effective LLM processing techniques. This study focuses on the econometric scripting language named hansl of the open-source software gretl and employs a proprietary LLM based on GPT-3.5. Our findings suggest that LLMs can be a useful tool for writing, understanding, improving, and documenting gretl code, which includes generating descriptive docstrings for functions and providing precise explanations for abstract and poorly documented econometric code. While the LLM showcased promoting docstring-to-code translation capability, we also identify some limitations, such as its inability to improve certain sections of code and to write accurate unit tests. This study is a step towards leveraging the power of LLMs to facilitate software development in low-resource programming languages and ultimately to lower barriers to entry for their adoption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google