Granite Code Models: A Family of Open Foundation Models for Code Intelligence

要約

コードでトレーニングされた大規模言語モデル (LLM) は、ソフトウェア開発プロセスに革命をもたらしています。
人間のプログラマーの生産性を向上させるために、コード LLM がソフトウェア開発環境にますます統合されており、LLM ベースのエージェントが複雑なタスクを自律的に処理する可能性を示し始めています。
コード LLM の可能性を最大限に引き出すには、コード生成、バグ修正、コードの説明と文書化、リポジトリの保守など、幅広い機能が必要です。
この研究では、116 のプログラミング言語で記述されたコードでトレーニングされた、コード生成タスク用のデコーダー専用コード モデルの Granite シリーズを紹介します。
Granite コード モデル ファミリは、30 億から 340 億パラメータのサイズのモデルで構成されており、複雑なアプリケーションの最新化タスクからデバイス上のメモリに制約のあるユースケースに至るまでのアプリケーションに適しています。
包括的な一連のタスクの評価により、Granite コード モデルは、利用可能なオープンソース コード LLM の中で常に最先端のパフォーマンスに達していることが実証されています。
Granite Code モデル ファミリは、エンタープライズ ソフトウェア開発ワークフロー向けに最適化されており、さまざまなコーディング タスク (コード生成、修正、説明など) で適切に実行できるため、多用途でオールラウンドなコード モデルとなっています。
当社では、すべての Granite コード モデルを Apache 2.0 ライセンスに基づいて研究用と商業用の両方にリリースしています。

要約(オリジナル)

Large Language Models (LLMs) trained on code are revolutionizing the software development process. Increasingly, code LLMs are being integrated into software development environments to improve the productivity of human programmers, and LLM-based agents are beginning to show promise for handling complex tasks autonomously. Realizing the full potential of code LLMs requires a wide range of capabilities, including code generation, fixing bugs, explaining and documenting code, maintaining repositories, and more. In this work, we introduce the Granite series of decoder-only code models for code generative tasks, trained with code written in 116 programming languages. The Granite Code models family consists of models ranging in size from 3 to 34 billion parameters, suitable for applications ranging from complex application modernization tasks to on-device memory-constrained use cases. Evaluation on a comprehensive set of tasks demonstrates that Granite Code models consistently reaches state-of-the-art performance among available open-source code LLMs. The Granite Code model family was optimized for enterprise software development workflows and performs well across a range of coding tasks (e.g. code generation, fixing and explanation), making it a versatile all around code model. We release all our Granite Code models under an Apache 2.0 license for both research and commercial use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google