BioCoder: A Benchmark for Bioinformatics Code Generation with Contextual Pragmatic Knowledge

要約

ChatGPT のような事前トレーニングされた言語モデルにより、コード生成が大幅に改善されました。
これらのモデルがスケールアップするにつれて、より複雑なタスクを処理するための出力の必要性が高まっています。
さらに、バイオインフォマティクスでは、機能プログラムの生成は、ドメイン知識の量、複雑なデータ操作の必要性、および操作間の複雑な機能の依存関係により、さらなる顕著な課題を引き起こします。
ここでは、バイオインフォマティクス コードを生成する際に既存の事前トレーニング済みモデルを評価するために開発されたベンチマークである BioCoder を紹介します。
関数コードの生成に関連して、BioCoder は潜在的なパッケージの依存関係、クラス宣言、およびグローバル変数をカバーします。
これには、GitHub からの Python と Java の 1026 の関数と 1243 のメソッド、および Rosalind プロジェクトからの 253 のサンプルが組み込まれています。
BioCoder には評価用のファズ テスト フレームワークが組み込まれており、これを InCoder、CodeGen、CodeGen2、SantaCoder、StarCoder、StarCoder+、InstructCodeT5+、ChatGPT などの多くのモデルの評価に適用してきました。
これらのモデルの詳細な分析では、ドメイン知識、実用的なコード生成、およびコンテキストの理解の重要性が強調されています。
テストに必要なデータセット、ベンチマーク、Docker イメージ、スクリプトはすべて https://github.com/gersteinlab/biocoder で入手できます。

要約(オリジナル)

Pre-trained language models like ChatGPT have significantly improved code generation. As these models scale up, there is an increasing need for the output to handle more intricate tasks. Moreover, in bioinformatics, generating functional programs poses additional notable challenges due to the amount of domain knowledge, the need for complicated data operations, and intricate functional dependencies between the operations. Here, we present BioCoder, a benchmark developed to evaluate existing pre-trained models in generating bioinformatics code. In relation to function-code generation, BioCoder covers potential package dependencies, class declarations, and global variables. It incorporates 1026 functions and 1243 methods in Python and Java from GitHub and 253 examples from the Rosalind Project. BioCoder incorporates a fuzz-testing framework for evaluation, and we have applied it to evaluate many models including InCoder, CodeGen, CodeGen2, SantaCoder, StarCoder, StarCoder+, InstructCodeT5+, and ChatGPT. Our detailed analysis of these models emphasizes the importance of domain knowledge, pragmatic code generation, and contextual understanding. Our dataset, benchmark, Docker images, and scripts required for testing are all available at https://github.com/gersteinlab/biocoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google