HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models

要約

腫瘍学向けの正確な機械学習モデルを開発するには、大規模で高品質のマルチモーダル データセットが必要です。
ただし、医療データの複雑さと異質性により、このようなデータセットの作成は依然として困難です。
この課題に対処するために、基盤モデルを活用して代表的な埋め込みを生成するマルチモーダル腫瘍学データセットを構築するためのスケーラブルなモジュール式フレームワークである HoneyBee を紹介します。
HoneyBee は、臨床診断および病理画像データ、医療メモ、レポート、記録、分子データなど、さまざまなデータ モダリティを統合します。
データ前処理技術と基礎モデルを採用して、生の医療データ内の重要な特徴と関係をキャプチャするエンベディングを生成します。
生成されたエンベディングは、アクセシビリティのために Hugging Face データセットと PyTorch データローダーを使用して構造化形式で保存されます。
ベクトル データベースにより、機械学習アプリケーションの効率的なクエリと取得が可能になります。
これらの埋め込みの品質と代表性を評価する実験を通じて、HoneyBee の有効性を実証します。
このフレームワークは他の医療分野にも拡張できるように設計されており、機械学習に対応した高品質のデータセットを提供することで腫瘍研究を加速することを目的としています。
HoneyBee は継続的なオープンソースの取り組みであり、コード、データセット、モデルはプロジェクト リポジトリで入手できます。

要約(オリジナル)

Developing accurate machine learning models for oncology requires large-scale, high-quality multimodal datasets. However, creating such datasets remains challenging due to the complexity and heterogeneity of medical data. To address this challenge, we introduce HoneyBee, a scalable modular framework for building multimodal oncology datasets that leverages foundation models to generate representative embeddings. HoneyBee integrates various data modalities, including clinical diagnostic and pathology imaging data, medical notes, reports, records, and molecular data. It employs data preprocessing techniques and foundation models to generate embeddings that capture the essential features and relationships within the raw medical data. The generated embeddings are stored in a structured format using Hugging Face datasets and PyTorch dataloaders for accessibility. Vector databases enable efficient querying and retrieval for machine learning applications. We demonstrate the effectiveness of HoneyBee through experiments assessing the quality and representativeness of these embeddings. The framework is designed to be extensible to other medical domains and aims to accelerate oncology research by providing high-quality, machine learning-ready datasets. HoneyBee is an ongoing open-source effort, and the code, datasets, and models are available at the project repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google