Hibou: A Family of Foundational Vision Transformers for Pathology

要約

病理学、つまり病変組織の顕微鏡検査は、さまざまな病状、特に癌を診断するために重要です。
従来の方法は労働集約的であり、人的ミスが発生しやすいものです。
デジタルパソロジーは、コンピューターアルゴリズムによる分析のためにスライドガラスを高解像度のデジタル画像に変換し、自動画像分析と大規模データ処理を通じて診断の精度、一貫性、効率を向上させることにより、この分野に革命をもたらします。
基礎的なトランスフォーマーの事前トレーニングは、膨大な量の注釈のないデータから学習できるため、堅牢で一般化可能なモデルを開発するために非常に重要です。
この論文では、DINOv2 フレームワークを利用して、さまざまな組織タイプを表す 100 万枚を超える全スライド画像 (WSI) の独自のデータセット上で 2 つのモデル バリアント、Hibou-B と Hibou-L を事前トレーニングする、病理学用の基本的なビジョン トランスフォーマーの Hibou ファミリを紹介します。
染色技術。
当社の事前トレーニング済みモデルは、パッチ レベルとスライド レベルのベンチマークの両方で優れたパフォーマンスを示し、既存の最先端の手法を上回っています。
特に、Hibou-L は複数のベンチマーク データセットにわたって最高の平均精度を達成しています。
現場でのさらなる研究と応用をサポートするために、https://github.com/HistAI/hibou からアクセスできる Hibou-B モデルをオープンソース化しました。

要約(オリジナル)

Pathology, the microscopic examination of diseased tissue, is critical for diagnosing various medical conditions, particularly cancers. Traditional methods are labor-intensive and prone to human error. Digital pathology, which converts glass slides into high-resolution digital images for analysis by computer algorithms, revolutionizes the field by enhancing diagnostic accuracy, consistency, and efficiency through automated image analysis and large-scale data processing. Foundational transformer pretraining is crucial for developing robust, generalizable models as it enables learning from vast amounts of unannotated data. This paper introduces the Hibou family of foundational vision transformers for pathology, leveraging the DINOv2 framework to pretrain two model variants, Hibou-B and Hibou-L, on a proprietary dataset of over 1 million whole slide images (WSIs) representing diverse tissue types and staining techniques. Our pretrained models demonstrate superior performance on both patch-level and slide-level benchmarks, surpassing existing state-of-the-art methods. Notably, Hibou-L achieves the highest average accuracy across multiple benchmark datasets. To support further research and application in the field, we have open-sourced the Hibou-B model, which can be accessed at https://github.com/HistAI/hibou

arxiv情報

提供元, 利用サービス

arxiv.jp, Google