RRAML: Reinforced Retrieval Augmented Machine Learning

要約

大規模言語モデル (LLM) の出現は、機械学習と関連分野に革命をもたらし、人間の言語の理解、生成、操作における顕著な能力を示しました。
ただし、API ベースのテキスト プロンプト送信による従来の使用法では、コンテキストの制約や外部ソースの可用性に関して一定の制限が課せられます。
これらの課題に対処するために、強化検索拡張機械学習 (RRAML) と呼ばれる新しいフレームワークを提案します。
RRAML は、LLM の推論機能と、ユーザーが提供する膨大なデータベースから専用の検索機能によって取得されたサポート情報を統合します。
強化学習における最近の進歩を活用することで、私たちの方法はいくつかの重要な課題に効果的に対処します。
まず、LLM 勾配にアクセスする必要がなくなります。
第 2 に、モデルへのアクセスが制限されたり、必要な計算量が多くなったりするため、非現実的または不可能であることが多いため、私たちの方法は特定のタスクの LLM を再トレーニングする負担を軽減します。
さらに、取得者のタスクと推論者のタスクをシームレスにリンクし、幻覚を軽減し、無関係で損害を与える可能性のある取得した文書を削減します。
私たちは、この論文で概説されている研究課題が AI 分野に大きな影響を与え、さまざまなエンティティの LLM へのアクセスと利用を民主化する可能性があると信じています。

要約(オリジナル)

The emergence of large language models (LLMs) has revolutionized machine learning and related fields, showcasing remarkable abilities in comprehending, generating, and manipulating human language. However, their conventional usage through API-based text prompt submissions imposes certain limitations in terms of context constraints and external source availability. To address these challenges, we propose a novel framework called Reinforced Retrieval Augmented Machine Learning (RRAML). RRAML integrates the reasoning capabilities of LLMs with supporting information retrieved by a purpose-built retriever from a vast user-provided database. By leveraging recent advancements in reinforcement learning, our method effectively addresses several critical challenges. Firstly, it circumvents the need for accessing LLM gradients. Secondly, our method alleviates the burden of retraining LLMs for specific tasks, as it is often impractical or impossible due to restricted access to the model and the computational intensity involved. Additionally we seamlessly link the retriever’s task with the reasoner, mitigating hallucinations and reducing irrelevant, and potentially damaging retrieved documents. We believe that the research agenda outlined in this paper has the potential to profoundly impact the field of AI, democratizing access to and utilization of LLMs for a wide range of entities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google