要約
大規模言語モデル(Large Language Models: LLM)は、ドメイン横断的に多様なタスクを実行できるAIアシスタントの開発に革命をもたらしている。しかし、現在の最先端のLLM駆動エージェントは、高い運用コストやGAIAのような複雑なベンチマークでの成功率の限界など、大きな課題に直面している。これらの問題に対処するために、我々は、LLM推論と動的に構築された知識グラフ(KG)を統合した革新的なAIアシスタントアーキテクチャであるKGoT(Knowledge Graph of Thoughts)を提案する。KGoTは、タスクに関連する知識を抽出し、動的なKG表現に構造化し、数学ソルバー、ウェブクローラ、Pythonスクリプトなどの外部ツールによって反復的に拡張する。このようなタスク関連知識の構造化表現により、低コストモデルで複雑なタスクを効果的に解くことができる。例えば、KGoTはGAIAベンチマークにおいて、GPT-4o miniを搭載したHugging Face Agentsと比較して、タスク成功率で29%の改善を達成する一方、GPT-4oと比較して36倍以上のコスト削減を実現しています。最近の推論モデルの改善も同様で、例えばQwen2.5-32BとDeepseek-R1-70Bではそれぞれ36%と37.5%です。KGoTは、AIアシスタントにスケーラブルで手頃な価格の高性能ソリューションを提供する。
要約(オリジナル)
Large Language Models (LLMs) are revolutionizing the development of AI assistants capable of performing diverse tasks across domains. However, current state-of-the-art LLM-driven agents face significant challenges, including high operational costs and limited success rates on complex benchmarks like GAIA. To address these issues, we propose the Knowledge Graph of Thoughts (KGoT), an innovative AI assistant architecture that integrates LLM reasoning with dynamically constructed knowledge graphs (KGs). KGoT extracts and structures task-relevant knowledge into a dynamic KG representation, iteratively enhanced through external tools such as math solvers, web crawlers, and Python scripts. Such structured representation of task-relevant knowledge enables low-cost models to solve complex tasks effectively. For example, KGoT achieves a 29% improvement in task success rates on the GAIA benchmark compared to Hugging Face Agents with GPT-4o mini, while reducing costs by over 36x compared to GPT-4o. Improvements for recent reasoning models are similar, e.g., 36% and 37.5% for Qwen2.5-32B and Deepseek-R1-70B, respectively. KGoT offers a scalable, affordable, and high-performing solution for AI assistants.
arxiv情報
著者 | Maciej Besta,Lorenzo Paleari,Jia Hao Andrea Jiang,Robert Gerstenberger,You Wu,Patrick Iff,Ales Kubicek,Piotr Nyczyk,Diana Khimey,Jón Gunnar Hannesson,Grzegorz Kwaśniewski,Marcin Copik,Hubert Niewiadomski,Torsten Hoefler |
発行日 | 2025-04-03 15:11:55+00:00 |
arxivサイト | arxiv_id(pdf) |