Explainable Multi-Modal Data Exploration in Natural Language via LLM Agent

要約

国際的な企業、組織、病院は、データベース、テキスト文書、画像、ビデオに保存された大量のマルチモーダル データを収集します。
最近、マルチモーダル データ探索の個別の分野や、自然言語の質問をデータベース クエリ言語に自動的に翻訳するデータベース システムで進歩が見られますが、自然言語の画像などの他の非構造化モダリティと組み合わせてデータベース システムにクエリを実行するという研究課題は、
言語は広く未解明です。
この論文では、自然言語で説明可能なマルチモーダルなデータ探索を可能にするシステムである XMODE を提案します。
私たちのアプローチは、次の研究成果に基づいています。 (1) 私たちのシステムは、ユーザーがマルチモーダルな情報システムを探索できるようにする現実世界の使用例からインスピレーションを受けています。
(2) XMODE は、LLM ベースのエージェント AI フレームワークを利用して、自然言語の質問をテキストから SQL への生成や画像分析などのサブタスクに分解します。
(3) リレーショナル データと画像に対するマルチモーダル データセットの実験結果は、当社のシステムが最先端のマルチモーダル探査システムを上回り、精度だけでなく、クエリ レイテンシ、API などのさまざまなパフォーマンス メトリクスでも優れていることを示しています。
LLM の推論機能をより効果的に活用することで、コスト、計画の効率、説明の品質が向上します。

要約(オリジナル)

International enterprises, organizations, or hospitals collect large amounts of multi-modal data stored in databases, text documents, images, and videos. While there has been recent progress in the separate fields of multi-modal data exploration as well as in database systems that automatically translate natural language questions to database query languages, the research challenge of querying database systems combined with other unstructured modalities such as images in natural language is widely unexplored. In this paper, we propose XMODE – a system that enables explainable, multi-modal data exploration in natural language. Our approach is based on the following research contributions: (1) Our system is inspired by a real-world use case that enables users to explore multi-modal information systems. (2) XMODE leverages a LLM-based agentic AI framework to decompose a natural language question into subtasks such as text-to-SQL generation and image analysis. (3) Experimental results on multi-modal datasets over relational data and images demonstrate that our system outperforms state-of-the-art multi-modal exploration systems, excelling not only in accuracy but also in various performance metrics such as query latency, API costs, planning efficiency, and explanation quality, thanks to the more effective utilization of the reasoning capabilities of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google