BioCoder: A Benchmark for Bioinformatics Code Generation with Contextual Pragmatic Knowledge

要約

事前に訓練された大規模な言語モデルは、コード生成を大幅に改善した。このようなモデルの規模が拡大するにつれ、出力がより複雑なタスクを処理し、特定のドメインに適切に特化される必要性が高まっている。ここでは、専門的なドメイン知識、アルゴリズム、およびデータ操作の量が要求されるバイオインフォマティクスを対象とする。バイオインフォマティクスに特化したコードを生成する大規模言語モデル（LLM）を評価するために開発されたベンチマーク、BioCoderを紹介する。BioCoderはバイオインフォマティクスの幅広い分野にまたがり、ファイル間の依存関係、クラス宣言、グローバル変数をカバーしている。GitHubから抽出された1026のPython関数と1243のJavaメソッド、そしてRosalind Projectから253のバイオインフォマティクスに関連するサンプルが含まれている。トピックモデリングを使用して、含まれるコードの全体的なカバレッジが、バイオインフォマティクスの計算の全範囲を代表していることを示す。BioCoderには、評価のためのファズテストのフレームワークが組み込まれている。InCoder、CodeGen、CodeGen2、SantaCoder、StarCoder、StarCoder+、InstructCodeT5+、GPT-3.5、GPT-4を含む多くのモデルの評価に適用した。さらに、我々はStarCoderを微調整し、我々のデータセットがベンチマークにおけるLLMのパフォーマンスをいかに効果的に向上させるかを実証した（特定のプロンプト構成ではPass@Kの点で15%以上、常に3%以上）。(1)成功するモデルは、機能的な依存関係のために、完全な文脈を持つ長いプロンプト（～2600トークン以上）に対応している。(2)一般的なコーディング知識だけでなく、バイオインフォマティクスの特定のドメイン知識を含んでいる。これは、GPT-3.5/4がベンチマークの小さなモデルと比較してパフォーマンスを向上させたことから明らかです（50%対最大~25%）。我々のデータセット、ベンチマーク、Dockerイメージ、テストに必要なスクリプトは全てhttps://github.com/gersteinlab/biocoder。

要約(オリジナル)

Pre-trained large language models have significantly improved code generation. As these models scale up, there is an increasing need for the output to handle more intricate tasks and to be appropriately specialized to particular domains. Here, we target bioinformatics due to the amount of specialized domain knowledge, algorithms, and data operations this discipline requires. We present BioCoder, a benchmark developed to evaluate large language models (LLMs) in generating bioinformatics-specific code. BioCoder spans a broad spectrum of the field and covers cross-file dependencies, class declarations, and global variables. It incorporates 1026 Python functions and 1243 Java methods extracted from GitHub, along with 253 examples from the Rosalind Project, all pertaining to bioinformatics. Using topic modeling we show that overall coverage of the included code is representative of the full spectrum of bioinformatics calculations. BioCoder incorporates a fuzz-testing framework for evaluation. We have applied it to evaluate many models including InCoder, CodeGen, CodeGen2, SantaCoder, StarCoder, StarCoder+, InstructCodeT5+, GPT-3.5, and GPT-4. Furthermore, we finetuned StarCoder, demonstrating how our dataset can effectively enhance the performance of LLMs on our benchmark (by >15% in terms of Pass@K in certain prompt configurations and always >3%). The results highlight two key aspects of successful models: (1) Successful models accommodate a long prompt (> ~2600 tokens) with full context, for functional dependencies. (2) They contain specific domain knowledge of bioinformatics, beyond just general coding knowledge. This is evident from the performance gain of GPT-3.5/4 compared to the smaller models on the benchmark (50% vs up to ~25%). Our dataset, benchmark, Docker images, and scripts required for testing are all available at https://github.com/gersteinlab/biocoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL