Keyword Augmented Retrieval: Novel framework for Information Retrieval integrated with speech interface

要約

言語モデルを使用して、構造化データと非構造化データの組み合わせから幻覚を起こすことなく、迅速かつ低コストの方法で答えを取得することは、知識検索の自動化における言語モデルの採用を妨げる大きなハードルです。
これは、音声インターフェイスを統合したい場合に顕著になります。
さらに、商用検索およびチャットボット アプリケーションの場合、GPT 3.5 などの商用大規模言語モデル (LLM) に完全に依存すると、コストが非常に高くなる可能性があります。
この研究では、著者らはまず、大規模言語モデルに提供されるコンテキストの発見を強化するキーワード ベースの検索フレームワークを開発することで、この問題に対処しました。
キーワードは LLM によって生成され、生成されたクエリに対して LLM によって生成されたキーワードと比較するためにキャッシュされます。
これにより、文書内のコンテキストを見つけるための時間とコストが大幅に削減されます。
コンテキストが設定されると、LLM はそれを使用して、Q&A に合わせたプロンプトに基づいて回答を提供します。
この研究成果は、コンテキスト識別にキーワードを使用すると、全体の推論時間と情報検索のコストが削減されることを示しています。
キーワード拡張検索フレームワークによる推論時間とコストの削減を考慮して、ユーザー入力と応答読み出しのための音声ベースのインターフェイスが統合されました。
これにより、言語モデルとのシームレスな対話が可能になりました。

要約(オリジナル)

Retrieving answers in a quick and low cost manner without hallucinations from a combination of structured and unstructured data using Language models is a major hurdle which prevents employment of Language models in knowledge retrieval automation. This becomes accentuated when one wants to integrate a speech interface. Besides, for commercial search and chatbot applications, complete reliance on commercial large language models (LLMs) like GPT 3.5 etc. can be very costly. In this work, authors have addressed this problem by first developing a keyword based search framework which augments discovery of the context to be provided to the large language model. The keywords in turn are generated by LLM and cached for comparison with keywords generated by LLM against the query raised. This significantly reduces time and cost to find the context within documents. Once the context is set, LLM uses that to provide answers based on a prompt tailored for Q&A. This research work demonstrates that use of keywords in context identification reduces the overall inference time and cost of information retrieval. Given this reduction in inference time and cost with the keyword augmented retrieval framework, a speech based interface for user input and response readout was integrated. This allowed a seamless interaction with the language model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google