Institutional Platform for Secure Self-Service Large Language Model Exploration

要約

このペーパーでは、ケンタッキー大学応用AIセンターが開発したユーザーフレンドリーなプラットフォームを紹介します。
マルチLORA推論における最近の進歩を活用することにより、システムは、多様なユーザーとプロジェクトのカスタムアダプターを効率的に収容します。
このペーパーでは、データセットのキュレーション、モデルトレーニング、安全な推論、テキストベースの機能抽出を含む、システムのアーキテクチャと主要な機能の概要を説明しています。
エージェントベースの方法を使用して、孤立したリソースの島を統一システムとして安全に利用するテナント認識計算ネットワークの確立を説明します。
このプラットフォームは、安全なLLMサービスを提供し、プロセスとデータの分離、エンドツーエンドの暗号化、およびロールベースのリソース認証を強調するよう努めています。
この貢献は、科学的発見をサポートする最先端のAIモデルと技術への簡素化されたアクセスを可能にするという包括的な目標と一致しています。

要約(オリジナル)

This paper introduces a user-friendly platform developed by the University of Kentucky Center for Applied AI, designed to make large, customized language models (LLMs) more accessible. By capitalizing on recent advancements in multi-LoRA inference, the system efficiently accommodates custom adapters for a diverse range of users and projects. The paper outlines the system’s architecture and key features, encompassing dataset curation, model training, secure inference, and text-based feature extraction. We illustrate the establishment of a tenant-aware computational network using agent-based methods, securely utilizing islands of isolated resources as a unified system. The platform strives to deliver secure LLM services, emphasizing process and data isolation, end-to-end encryption, and role-based resource authentication. This contribution aligns with the overarching goal of enabling simplified access to cutting-edge AI models and technology in support of scientific discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google