AsyncMLD: Asynchronous Multi-LLM Framework for Dialogue Recommendation System

要約

大規模言語モデル (LLM) の開発により、人間支援対話エージェントは実用的かつ現実的な段階に到達しました。
しかし、専門的な知識が必要な場合や、膨大な対話データベースを利用して発話内容を予測する場合には、たとえLLMを利用したとしても、発話内容の有効性や出力速度の効率化には支援が必要です。
そこで、システムの適切な応答を返す部分と、ユーザーの意図を理解してデータベースを検索する部分にLLMを非同期に利用するフレームワークを提案します。
特に、ロボットが発話するまでに時間がかかることに着目し、データベース検索に関するスレッド処理はロボットが発話している間に実行される。

要約(オリジナル)

We have reached a practical and realistic phase in human-support dialogue agents by developing a large language model (LLM). However, when requiring expert knowledge or anticipating the utterance content using the massive size of the dialogue database, we still need help with the utterance content’s effectiveness and the efficiency of its output speed, even if using LLM. Therefore, we propose a framework that uses LLM asynchronously in the part of the system that returns an appropriate response and in the part that understands the user’s intention and searches the database. In particular, noting that it takes time for the robot to speak, threading related to database searches is performed while the robot is speaking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google