Biomedical image analysis competitions: The state of current participation practice

要約

機械学習 (ML) の研究と実践のさまざまな分野で、国際的なベンチマーク コンテストの数が着実に増加しています。
しかし、これまでのところ、提起された研究課題に取り組む際にコミュニティが直面する一般的な慣行やボトルネックについてはほとんど知られていません。
生物医学画像解析の特定分野におけるアルゴリズム開発の現状を明らかにするために、IEEE ISBI 2021 および MICCAI 2021 会議 (合計 8​​0 のコンペティション) に関連して実施されたチャレンジのすべての参加者に発行された国際調査を設計しました。
.
この調査では、参加者の専門知識と作業環境、選択した戦略、およびアルゴリズムの特性がカバーされました。
中央値で 72% のチャレンジ参加者が調査に参加しました。
私たちの結果によると、知識交換は参加の主なインセンティブ (70%) であり、賞金の受け取りは小さな役割 (16%) に過ぎませんでした。
中央値で 80 時間の作業時間がメソッド開発に費やされましたが、参加者の大部分はメソッド開発に十分な時間がないと述べました (32%)。
25% がインフラストラクチャがボトルネックであると認識しています。
全体として、すべてのソリューションの 94% がディープ ラーニング ベースでした。
これらのうち、84% は標準アーキテクチャに基づいていました。
回答者の 43% が、データ サンプル (画像など) が大きすぎて一度に処理できないと報告しました。
これは、パッチベースのトレーニング (69%)、ダウンサンプリング (37%)、および一連の 2D タスクとしての 3D 分析タスクの解決によって最も一般的に対処されました。
トレーニング セットの K 分割交差検証は参加者の 37% のみが実行し、参加者の 50% のみが複数の同一モデル (61%) または異種モデル (39%) に基づいてアンサンブルを実行しました。
回答者の 48% が後処理ステップを適用しました。

要約(オリジナル)

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants’ expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google