Adaptive Self-improvement LLM Agentic System for ML Library Development

要約

MLライブラリは、多くの場合、ドメイン固有アーキテクチャをターゲットとするアーキテクチャ固有プログラミング言語（ASPL）で記述され、効率的なMLシステムの鍵となる。しかし、これらの高性能MLライブラリを書くには、MLアルゴリズムとASPLに関する専門知識が必要であるため、困難である。一方、大規模言語モデル（LLM）は、一般的なコーディング能力を示している。しかしながら、LLMをASPLを用いたMLライブラリの生成に用いる場合、1)このタスクは経験豊富な人間のプログラマーにとっても複雑であること、2)ASPLは難解で発展的であるため、コード例が限られていること、などの課題が残る。したがって、LLMがこのタスクを完了するためには、限られたデータで複雑な推論を行う必要がある。これらの課題に対処するために、我々は適応型自己改善エージェントシステムを導入する。我々のシステムの有効性を評価するために、典型的なMLライブラリのベンチマークを構築し、このベンチマーク上でオープンソースとクローズドソースの両方のLLMを用いてASPLコードを生成した。その結果、ベースラインの単一LLMより、最大$3.9times$改善された。

要約(オリジナル)

ML libraries, often written in architecture-specific programming languages (ASPLs) that target domain-specific architectures, are key to efficient ML systems. However, writing these high-performance ML libraries is challenging because it requires expert knowledge of ML algorithms and the ASPL. Large language models (LLMs), on the other hand, have shown general coding capabilities. However, challenges remain when using LLMs for generating ML libraries using ASPLs because 1) this task is complicated even for experienced human programmers and 2) there are limited code examples because of the esoteric and evolving nature of ASPLs. Therefore, LLMs need complex reasoning with limited data in order to complete this task. To address these challenges, we introduce an adaptive self-improvement agentic system. In order to evaluate the effectiveness of our system, we construct a benchmark of a typical ML library and generate ASPL code with both open and closed-source LLMs on this benchmark. Our results show improvements of up to $3.9\times$ over a baseline single LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL