Gorilla: Large Language Model Connected with Massive APIs

要約

大規模言語モデル (LLM) は最近目覚ましい進歩を遂げており、モデルは数学的推論やプログラム合成などのさまざまなタスクで優れています。
ただし、API 呼び出しを介してツールを効果的に使用する可能性は依然として満たされていません。
これは、GPT-4 などの今日の最先端の LLM にとってさえ困難なタスクです。これは主に、正確な入力引数を生成できないことと、API 呼び出しの間違った使用法を幻覚する傾向があるためです。
API 呼び出しの作成において GPT-4 のパフォーマンスを超える、微調整された LLaMA ベースのモデルである Gorilla をリリースします。
ドキュメント取得機能と組み合わせると、Gorilla はテスト時のドキュメント変更に適応する強力な機能を発揮し、柔軟なユーザー更新やバージョン変更を可能にします。
また、LLM を直接プロンプトするときによく発生する幻覚の問題も大幅に軽減されます。
モデルの能力を評価するために、HuggingFace、TorchHub、TensorHub API で構成される包括的なデータセットである APIBench を導入します。
検索システムと Gorilla の統合が成功したことで、LLM がツールをより正確に使用し、頻繁に更新されるドキュメントに追いつき、結果として出力の信頼性と適用性が向上する可能性が実証されました。
Gorilla のコード、モデル、データ、デモは https://gorilla.cs.berkeley.edu で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have seen an impressive wave of advances recently, with models now excelling in a variety of tasks, such as mathematical reasoning and program synthesis. However, their potential to effectively use tools via API calls remains unfulfilled. This is a challenging task even for today’s state-of-the-art LLMs such as GPT-4, largely due to their inability to generate accurate input arguments and their tendency to hallucinate the wrong usage of an API call. We release Gorilla, a finetuned LLaMA-based model that surpasses the performance of GPT-4 on writing API calls. When combined with a document retriever, Gorilla demonstrates a strong capability to adapt to test-time document changes, enabling flexible user updates or version changes. It also substantially mitigates the issue of hallucination, commonly encountered when prompting LLMs directly. To evaluate the model’s ability, we introduce APIBench, a comprehensive dataset consisting of HuggingFace, TorchHub, and TensorHub APIs. The successful integration of the retrieval system with Gorilla demonstrates the potential for LLMs to use tools more accurately, keep up with frequently updated documentation, and consequently increase the reliability and applicability of their outputs. Gorilla’s code, model, data, and demo are available at https://gorilla.cs.berkeley.edu

arxiv情報

提供元, 利用サービス

arxiv.jp, Google