CoIR: A Comprehensive Benchmark for Code Information Retrieval Models

要約

さまざまなNLPタスクでの情報検索（IR）の大幅な成功にもかかわらず、ほとんどのIRシステムは主に自然言語のクエリとコーパスを処理し、コード検索の領域を無視しています。
コードの検索は非常に重要ですが、既存のメソッドとベンチマークがさまざまなドメインやタスクのコードの多様性を不十分に表すことができないため、依存していないままです。
このギャップに対処すると、コード検索機能を評価するために特別に設計された堅牢で包括的なベンチマークであるCoir（コード情報検索ベンチマーク）を提示します。
Coirは、7つの多様なドメインにわたる8つの特徴的な検索タスクにまたがる10の細心の注意を払ってキュレーションされたコードデータセットで構成されています。
まず、Coirの構築とその多様なデータセット構成について説明します。
さらに、COIRを使用して9つの広く使用されている検索モデルを評価し、最先端のシステムでもコード検索タスクを実行する際の重大な困難を明らかにします。
既存の研究ワークフロー内での簡単な採用と統合を促進するために、Coirは、PIPを介して簡単にインストールできるユーザーフレンドリーなPythonフレームワークとして開発されました。
MTEBやBeirなどの他の人気のあるベンチマークと同じデータスキーマを共有し、シームレスなクロスベンチマーク評価を可能にします。
Coirを通じて、コード検索ドメインの研究を活性化することを目指して、コード検索システムのさらなる開発と調査https://github.com/coir-team/coirを促進する汎用性の高いベンチマークツールを提供します。

要約(オリジナル)

Despite the substantial success of Information Retrieval (IR) in various NLP tasks, most IR systems predominantly handle queries and corpora in natural language, neglecting the domain of code retrieval. Code retrieval is critically important yet remains under-explored, with existing methods and benchmarks inadequately representing the diversity of code in various domains and tasks. Addressing this gap, we present COIR (Code Information Retrieval Benchmark), a robust and comprehensive benchmark specifically designed to assess code retrieval capabilities. COIR comprises ten meticulously curated code datasets, spanning eight distinctive retrieval tasks across seven diverse domains. We first discuss the construction of COIR and its diverse dataset composition. Further, we evaluate nine widely used retrieval models using COIR, uncovering significant difficulties in performing code retrieval tasks even with state-of-the-art systems. To facilitate easy adoption and integration within existing research workflows, COIR has been developed as a user-friendly Python framework, readily installable via pip. It shares same data schema as other popular benchmarks like MTEB and BEIR, enabling seamless cross-benchmark evaluations. Through COIR, we aim to invigorate research in the code retrieval domain, providing a versatile benchmarking tool that encourages further development and exploration of code retrieval systems https://github.com/CoIR-team/coir.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google