OnPrem.LLM: A Privacy-Conscious Document Intelligence Toolkit

要約

OnPrem $。$ LLMは、オフラインまたは制限された環境で敏感な非パブリックデータに大規模な言語モデル（LLM）を適用するためのPythonベースのツールキットです。
このシステムは、プライバシーを提供するユースケース向けに設計されており、ドキュメント処理とストレージ、検索の高等発電（RAG）、情報抽出、要約、分類、および最小設定でのプロンプト/出力処理のための事前に構築されたパイプラインを提供します。
onprem $。$ llmは、llama $ cpp、ollama、vllm、hugging hugging face transformersなど、複数のLLMバックエンドをサポートしています。
完全にローカルな実行用に設計されていますが、OnPrem $。$ LLMは、許可されている場合、幅広いクラウドLLMプロバイダーとの統合もサポートし、パフォーマンスとデータコントロールのバランスをとるハイブリッド展開を可能にします。
ノーコードWebインターフェイスは、非技術的なユーザーへのアクセシビリティを拡張します。

要約(オリジナル)

We present OnPrem$.$LLM, a Python-based toolkit for applying large language models (LLMs) to sensitive, non-public data in offline or restricted environments. The system is designed for privacy-preserving use cases and provides prebuilt pipelines for document processing and storage, retrieval-augmented generation (RAG), information extraction, summarization, classification, and prompt/output processing with minimal configuration. OnPrem$.$LLM supports multiple LLM backends — including llama$.$cpp, Ollama, vLLM, and Hugging Face Transformers — with quantized model support, GPU acceleration, and seamless backend switching. Although designed for fully local execution, OnPrem$.$LLM also supports integration with a wide range of cloud LLM providers when permitted, enabling hybrid deployments that balance performance with data control. A no-code web interface extends accessibility to non-technical users.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google