Sketch: A Toolkit for Streamlining LLM Operations

要約

GPT ファミリに代表される大規模言語モデル (LLM) は目覚ましい成功を収めています。
LLM の特徴は、生成的なアプローチを通じて幅広いタスクに対応できることにあります。
ただし、出力形式の柔軟性により、モデルの出力の制御と利用に課題が生じ、その結果、さまざまなドメインでの LLM の適用が制限されます。
この作業では、さまざまな分野にわたる LLM 運用を合理化するために設計された革新的なツールキットである Sketch を紹介します。
Sketch は次のコンポーネントで構成されます。(1) さまざまな NLP タスクを含む一連のタスク記述スキーマとプロンプト テンプレート。
(2) さまざまな NLP タスクに合わせた構造化出力 LLM サービスを構築するための、ユーザーフレンドリーで対話型のプロセス。
(3) 出力形式制御用のオープンソース データセットとデータセット構築用ツール。
(4) 出力フォーマット命令を適切に理解し、遵守する LLaMA3-8B-Instruct に基づくオープンソース モデル。
私たちは、この取り組みが LLM ユーザーに大きな利便性をもたらし、さまざまなアプリケーションの「プラグ アンド プレイ」という目標を達成することを期待しています。
Sketch のコンポーネントは、https://github.com/cofe-ai/Sketch で段階的にオープンソース化される予定です。

要約(オリジナル)

Large language models (LLMs) represented by GPT family have achieved remarkable success. The characteristics of LLMs lie in their ability to accommodate a wide range of tasks through a generative approach. However, the flexibility of their output format poses challenges in controlling and harnessing the model’s outputs, thereby constraining the application of LLMs in various domains. In this work, we present Sketch, an innovative toolkit designed to streamline LLM operations across diverse fields. Sketch comprises the following components: (1) a suite of task description schemas and prompt templates encompassing various NLP tasks; (2) a user-friendly, interactive process for building structured output LLM services tailored to various NLP tasks; (3) an open-source dataset for output format control, along with tools for dataset construction; and (4) an open-source model based on LLaMA3-8B-Instruct that adeptly comprehends and adheres to output formatting instructions. We anticipate this initiative to bring considerable convenience to LLM users, achieving the goal of ”plug-and-play” for various applications. The components of Sketch will be progressively open-sourced at https://github.com/cofe-ai/Sketch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google