AS-LLM: When Algorithm Selection Meets Large Language Model

要約

アルゴリズムの選択は、実行前に特定の問題を解決するのに最適なアルゴリズムを特定することを目的としており、これは AutoML の重要なプロセスとなっています。
現在主流のアルゴリズム選択手法は、さまざまな問題の特徴表現に大きく依存しており、各アルゴリズムのパフォーマンスを教師付き情報として利用しています。
ただし、アルゴリズムの機能の考慮に関しては、研究に大きなギャップがあります。
このギャップは主にアルゴリズム固有の複雑さに起因しており、さまざまなアルゴリズムに適用できる普遍的に効果的な特徴抽出方法を見つけることが特に困難になっています。
残念ながら、この側面を無視すると、間違いなくアルゴリズムの選択の精度に影響があり、トレーニング目的で問題データの量を間接的に増やす必要があります。
この論文は、アルゴリズム表現をアルゴリズム選択プロセスに統合するアプローチを提案することにより、このギャップに対処するために大きく前進しました。
具体的には、私たちが提案するモデルは、問題とアルゴリズムの両方の表現を抽出するために別個のモジュールを使用しており、アルゴリズム表現はコード理解の領域で事前トレーニングされた LLM の機能を活用しています。
アルゴリズムと問題の両方に対する埋め込みベクトルの抽出に続いて、一致度の計算を通じて最適なアルゴリズムが決定されます。
私たちの実験は、提案されたモデルの有効性を検証するだけでなく、さまざまな組み込みの事前トレーニング済み LLM のパフォーマンスも示しています。これは、提案されたアルゴリズム選択フレームワークが、LLM のコード表現機能を評価するためのベースライン タスクとして機能する可能性を秘めていることを示唆しています。

要約(オリジナル)

Algorithm selection aims to identify the most suitable algorithm for solving a specific problem before execution, which has become a critical process of the AutoML. Current mainstream algorithm selection techniques rely heavily on feature representations of various problems and employ the performance of each algorithm as supervised information. However, there is a significant research gap concerning the consideration of algorithm features. This gap is primarily attributed to the inherent complexity of algorithms, making it particularly challenging to find a universally effective feature extraction method that is applicable across a diverse range of algorithms. Unfortunately, neglecting this aspect undoubtedly impacts the accuracy of algorithm selection and indirectly necessitates an increased volume of problem data for training purposes. This paper takes a significant stride towards addressing this gap by proposing an approach that integrates algorithm representation into the algorithm selection process. Specifically, our proposed model employs distinct modules to extract representations of both problems and algorithms, where the algorithm representation leverages the capabilities of pre-trained LLMs in the realm of code comprehension. Following the extraction of embedding vectors for both algorithms and problems, the most suitable algorithm is determined through calculations of matching degrees. Our experiments not only validate the effectiveness of the proposed model but also showcase the performance of different embedded pre-trained LLMs, which suggests that the proposed algorithm selection framework holds the potential to serve as a baseline task for evaluating the code representation capabilities of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google