SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool

要約

Large Language Model (LLM) ベースの生成 AI システムは、近年大幅な進歩を遂げています。
ナレッジ検索アーキテクチャを統合すると、追加のモデルの微調整を必要とせずに、事前トレーニングされた LLM を使用して、プライベート データを公的に利用可能な生成 AI システムにシームレスに統合できます。
さらに、文脈の解釈と知識の記憶におけるLLMと検索者の役割を明確に分離する将来の有望な研究方向である検索中心生成（RCG）アプローチは、より効率的な実装につながる可能性があります。
SimplyRetrieve は、これらの高度な進歩に対するローカライズされた軽量でユーザーフレンドリーなインターフェイスを機械学習コミュニティに提供することを目的としたオープンソース ツールです。
SimplyRetrieve は、プライベート ナレッジ ベース コンストラクターと取得チューニング モジュールによって支援される、GUI および API ベースの RCG プラットフォームを備えています。
これらの機能を活用することで、ユーザーはプライバシー基準を維持しながら生成 AI のパフォーマンスを向上させる RCG の可能性を探ることができます。
このツールは、MIT ライセンス付きで https://github.com/RCGAI/SimplyRetrieve から入手できます。

要約(オリジナル)

Large Language Model (LLM) based Generative AI systems have seen significant progress in recent years. Integrating a knowledge retrieval architecture allows for seamless integration of private data into publicly available Generative AI systems using pre-trained LLM without requiring additional model fine-tuning. Moreover, Retrieval-Centric Generation (RCG) approach, a promising future research direction that explicitly separates roles of LLMs and retrievers in context interpretation and knowledge memorization, potentially leads to more efficient implementation. SimplyRetrieve is an open-source tool with the goal of providing a localized, lightweight, and user-friendly interface to these sophisticated advancements to the machine learning community. SimplyRetrieve features a GUI and API based RCG platform, assisted by a Private Knowledge Base Constructor and a Retrieval Tuning Module. By leveraging these capabilities, users can explore the potential of RCG for improving generative AI performance while maintaining privacy standards. The tool is available at https://github.com/RCGAI/SimplyRetrieve with an MIT license.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google