PhyloLM : Inferring the Phylogeny of Large Language Models and Predicting their Performances in Benchmarks

要約

この論文では、系統発生アルゴリズムを大規模言語モデル (LLM) に適応させて、それらが相互に関連しているかどうか、またどのように関連しているかを調査し、パフォーマンス特性を予測する方法である PhyloLM を紹介します。
私たちの方法では、LLM の出力の類似性に基づいて系統距離メトリックを計算します。
結果として得られたメトリクスを使用して樹状図を構築すると、111 のオープンソース モデルと 45 のクローズド モデルのセットにわたる既知の関係が十分に捕捉されます。
さらに、私たちの系統学的距離は標準ベンチマークでのパフォーマンスを予測するため、その機能の妥当性を実証し、時間と費用対効果の高い LLM 機能の推定への道を開きます。
要約すると、集団の遺伝的概念を機械学習に変換することで、透明なトレーニング情報がない場合でも、LLM の発達、関係、能力を評価するツールを提案し、検証します。

要約(オリジナル)

This paper introduces PhyloLM, a method adapting phylogenetic algorithms to Large Language Models (LLMs) to explore whether and how they relate to each other and to predict their performance characteristics. Our method calculates a phylogenetic distance metrics based on the similarity of LLMs’ output. The resulting metric is then used to construct dendrograms, which satisfactorily capture known relationships across a set of 111 open-source and 45 closed models. Furthermore, our phylogenetic distance predicts performance in standard benchmarks, thus demonstrating its functional validity and paving the way for a time and cost-effective estimation of LLM capabilities. To sum up, by translating population genetic concepts to machine learning, we propose and validate a tool to evaluate LLM development, relationships and capabilities, even in the absence of transparent training information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google