CollEX — A Multimodal Agentic RAG System Enabling Interactive Exploration of Scientific Collections

要約

このペーパーでは、広範な科学コレクションのインタラクティブな探索を強化するために設計された革新的なマルチモーダルエージェント検索熟成（RAG）システムであるCollexを紹介します。
科学的コレクションの圧倒的なボリュームと固有の複雑さを考えると、従来の検索システムは、学習者、教育者、研究者にかなりの障壁を提示し、必要な直感性と相互作用性を欠くことがよくあります。
Collexは、直感的なチャットインターフェイスを介してアクセスできるマルチモーダルエージェントとして、最先端の大型ビジョンモデル（LVLMS）を採用することにより、これらの制限に対処します。
高度なツールを装備した専門エージェントを介して複雑な相互作用を抽象化することにより、Collexは好奇心駆動型の探索を促進し、そこにある多様な科学的コレクションと記録へのアクセスを大幅に簡素化します。
当社のシステムは、テキストと視覚のモダリティを統合し、教師、生徒、学生、研究者に役立つ教育シナリオをサポートし、独立した探査と科学的興奮と好奇心を促進します。
さらに、Collexは、学際的なつながりを発見し、視覚データを補完することにより、研究コミュニティにサービスを提供しています。
公立大学の地元の科学コレクションからの32のコレクションにわたって64,000を超えるユニークな記録を含む概念実証アプリケーションを通じて、システムの有効性を説明します。

要約(オリジナル)

In this paper, we introduce CollEx, an innovative multimodal agentic Retrieval-Augmented Generation (RAG) system designed to enhance interactive exploration of extensive scientific collections. Given the overwhelming volume and inherent complexity of scientific collections, conventional search systems often lack necessary intuitiveness and interactivity, presenting substantial barriers for learners, educators, and researchers. CollEx addresses these limitations by employing state-of-the-art Large Vision-Language Models (LVLMs) as multimodal agents accessible through an intuitive chat interface. By abstracting complex interactions via specialized agents equipped with advanced tools, CollEx facilitates curiosity-driven exploration, significantly simplifying access to diverse scientific collections and records therein. Our system integrates textual and visual modalities, supporting educational scenarios that are helpful for teachers, pupils, students, and researchers by fostering independent exploration as well as scientific excitement and curiosity. Furthermore, CollEx serves the research community by discovering interdisciplinary connections and complementing visual data. We illustrate the effectiveness of our system through a proof-of-concept application containing over 64,000 unique records across 32 collections from a local scientific collection from a public university.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google