Hierarchical Prompting Taxonomy: A Universal Evaluation Framework for Large Language Models

要約

さまざまなタスクを実行する際の大規模言語モデル (LLM) の有効性を評価することは、LLM の長所と短所を理解するために重要です。
この論文では、人間の認知原理に基づいており、さまざまなタスクの認知要求を調べることによって LLM を評価するように設計された階層プロンプティング分類法 (HPT) について説明します。
HPT は、LLM に対する認知負荷に応じて 5 つの異なるプロンプト戦略を編成するプロンプト選択フレームワークである階層プロンプト フレームワーク (HPF) を使用します。
この研究では、タスクの複雑さを測定するための階層的プロンプティング インデックス (HPI) を導入しています。これは、さまざまなデータセットにわたる LLM の能力を実証し、タスクの複雑さの普遍的な指標として機能します。
HPT は、さまざまなシナリオにおける LLM の問題解決スキルを評価するための信頼できる方法を提供し、より明確な結論を導き出します。
複数のデータセットと LLM を使用した広範な実験により、HPF が標準ベンチマーク データセットと比較して LLM パフォーマンスを 2\% ～ 63\% 向上させることが示され、HPT の有効性が確認されました。
この分野での将来の研究をサポートするために、HPT と HPF の実装が公開されています。

要約(オリジナル)

Assessing the effectiveness of large language models (LLMs) in performing different tasks is crucial for understanding their strengths and weaknesses. This paper presents the Hierarchical Prompting Taxonomy (HPT), grounded on human cognitive principles and designed to assess LLMs by examining the cognitive demands of various tasks. The HPT uses the Hierarchical Prompting Framework (HPF), a prompt selection framework that organizes five distinct prompting strategies by their cognitive load on LLMs. This study introduces the Hierarchical Prompting Index (HPI) to measure task complexity, which demonstrates LLMs’ abilities across different datasets and serves as a universal metric for task complexity. The HPT offers a reliable method for evaluating LLMs’ problem-solving skills in diverse scenarios, leading to clearer conclusions. Extensive experiments with multiple datasets and LLMs show that the HPF enhances LLM performance by 2\% to 63\% compared to standard benchmark datasets, confirming the effectiveness of the HPT. To support future research in this domain, the implementations of HPT and HPF are publicly available

arxiv情報

提供元, 利用サービス

arxiv.jp, Google