Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives

要約

大規模言語モデル (LLM) がスケールし続けるにつれて、強化されたパフォーマンスではドメイン固有のタスクを解決するには不十分であることが判明することがよくあります。
障害を体系的に分析し、パフォーマンスを効果的に向上させることは、依然として大きな課題です。
この論文では、ブルームの分類法と知識空間理論の原則に基づいて、能力、スキル、知識の観点から LLM タスクを再考する新しい理論モデルである Re-TASK フレームワークを紹介します。
Re-TASK フレームワークは、ドメイン固有のタスクのための LLM の理解、評価、強化を深められる体系的な方法論を提供します。
LLM の機能、LLM が処理する知識、および LLM が適用するスキルの間の相互作用を調査し、これらの要素がどのように相互に関連し、タスクのパフォーマンスに影響を与えるかを解明します。
Re-TASK フレームワークの適用により、ドメイン固有のタスクにおける失敗の多くは、知識不足またはスキルの適応不足に起因する可能性があることが明らかになりました。
この洞察に基づいて、私たちは、対象を絞った知識の注入とスキルの適応を通じて LLM を強化するための構造化された戦略を提案します。
具体的には、タスクに関連する主要な機能項目を特定し、意図的に設計されたプロンプト戦略を採用してタスクのパフォーマンスを向上させることで、広範な微調整の必要性を軽減します。
あるいは、機能固有の命令を使用して LLM を微調整し、フレームワークの有効性をさらに検証します。
実験結果はフレームワークの有効性を確認し、LLM のパフォーマンスと適用性の両方が大幅に向上していることを示しています。

要約(オリジナル)

As large language models (LLMs) continue to scale, their enhanced performance often proves insufficient for solving domain-specific tasks. Systematically analyzing their failures and effectively enhancing their performance remain significant challenges. This paper introduces the Re-TASK framework, a novel theoretical model that Revisits LLM Tasks from cApability, Skill, Knowledge perspectives, guided by the principles of Bloom’s Taxonomy and Knowledge Space Theory. The Re-TASK framework provides a systematic methodology to deepen our understanding, evaluation, and enhancement of LLMs for domain-specific tasks. It explores the interplay among an LLM’s capabilities, the knowledge it processes, and the skills it applies, elucidating how these elements are interconnected and impact task performance. Our application of the Re-TASK framework reveals that many failures in domain-specific tasks can be attributed to insufficient knowledge or inadequate skill adaptation. With this insight, we propose structured strategies for enhancing LLMs through targeted knowledge injection and skill adaptation. Specifically, we identify key capability items associated with tasks and employ a deliberately designed prompting strategy to enhance task performance, thereby reducing the need for extensive fine-tuning. Alternatively, we fine-tune the LLM using capability-specific instructions, further validating the efficacy of our framework. Experimental results confirm the framework’s effectiveness, demonstrating substantial improvements in both the performance and applicability of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google