Annotated Biomedical Video Generation using Denoising Diffusion Probabilistic Models and Flow Fields

要約

生きた細胞のセグメント化と追跡は、生物医学分野、特に癌研究、創薬、発生生物学において重要な役割を果たします。
これらは通常、退屈で時間のかかる作業であり、伝統的に生物医学の専門家によって行われてきました。
最近、これらのプロセスを自動化するために、深層学習ベースのセグメンテーションおよび追跡方法が提案されています。
これらの方法には大規模なデータセットが必要であり、その可能性を最大限に発揮できるかどうかは、生物医学イメージング領域における注釈付きデータの不足によって制約されます。
この制限に対処するために、本物のように見える合成顕微鏡ビデオを生成できる生物医学ビデオ拡散モデル (BVDM) を提案します。
単一の実際のビデオのみでトレーニングされる BVDM は、データを大量に消費するモデルのトレーニングに使用できるピクセル レベルの注釈を備えた任意の長さのビデオを生成できます。
これは、高忠実度の合成細胞顕微鏡画像を生成するノイズ除去拡散確率モデル (DDPM) と、連続するビデオ フレーム間の非剛体変換を予測するフロー予測モデル (FPM) で構成されています。
推論中、最初に、DDPM は実際のデータ統計に基づいて生成された合成セル マスクに現実的なセル テクスチャを適用します。
フロー予測モデルは、連続するマスク間のフロー フィールドを予測し、それを前のタイム フレームからの DDPM 出力に適用して、時間的な一貫性を保ちながら次のタイム フレームを作成します。
BVDM は、最先端の合成生細胞顕微鏡ビデオ生成モデルを上回るパフォーマンスを発揮します。
さらに、十分に大きな合成データセットを使用すると、限られた量の利用可能な実際のデータを使用する場合と比較して、セルのセグメンテーションと追跡モデルのパフォーマンスが向上することを実証します。

要約(オリジナル)

The segmentation and tracking of living cells play a vital role within the biomedical domain, particularly in cancer research, drug development, and developmental biology. These are usually tedious and time-consuming tasks that are traditionally done by biomedical experts. Recently, to automatize these processes, deep learning based segmentation and tracking methods have been proposed. These methods require large-scale datasets and their full potential is constrained by the scarcity of annotated data in the biomedical imaging domain. To address this limitation, we propose Biomedical Video Diffusion Model (BVDM), capable of generating realistic-looking synthetic microscopy videos. Trained only on a single real video, BVDM can generate videos of arbitrary length with pixel-level annotations that can be used for training data-hungry models. It is composed of a denoising diffusion probabilistic model (DDPM) generating high-fidelity synthetic cell microscopy images and a flow prediction model (FPM) predicting the non-rigid transformation between consecutive video frames. During inference, initially, the DDPM imposes realistic cell textures on synthetic cell masks which are generated based on real data statistics. The flow prediction model predicts the flow field between consecutive masks and applies that to the DDPM output from the previous time frame to create the next one while keeping temporal consistency. BVDM outperforms state-of-the-art synthetic live cell microscopy video generation models. Furthermore, we demonstrate that a sufficiently large synthetic dataset enhances the performance of cell segmentation and tracking models compared to using a limited amount of available real data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google