Leveraging AI Predicted and Expert Revised Annotations in Interactive Segmentation: Continual Tuning or Full Training?

要約

AI アルゴリズムと人間の専門知識を統合したインタラクティブなセグメンテーションは、医療分野で大規模で詳細な注釈が付けられたデータセットをキュレーションする精度と効率を向上させる前提となります。
人間の専門家が AI によって予測されたアノテーションを修正し、AI がこれらの修正されたアノテーションから学習して予測を改善します。
この対話型プロセスは、専門家による大幅な修正が必要なくなるまで、注釈の品質を向上させ続けます。
主な課題は、AI が予測したアノテーションと専門家が修正したアノテーションをどのように活用して、AI を反復的に改善するかです。
2 つの問題が発生します。(1) 壊滅的な忘却のリスク — 専門家が改訂したクラスのみを使用して再トレーニングした場合、AI は以前に学習したクラスを忘れてしまう傾向があります。
(2) AI が予測したアノテーションと専門家が修正したアノテーションの両方を使用して AI を再トレーニングする場合の計算効率の低下。
さらに、データセット内で AI が予測したアノテーションが支配的であることを考えると、新たに修正されたアノテーションの AI トレーニングへの寄与は (多くの場合、非常に小さな部分を占めます) わずかなままです。
このホワイトペーパーでは、ネットワーク設計とデータ再利用という 2 つの観点から問題に対処するための継続的チューニングを提案します。
まず、すべてのクラスの共有ネットワークを設計し、その後、個々のクラス専用のクラス固有のネットワークを設計します。
忘れを軽減するために、以前に学習したクラスの共有ネットワークを凍結し、改訂されたクラスのクラス固有のネットワークのみを更新します。
次に、過剰な計算を避けるために、以前のアノテーションを含むデータの一部を再利用します。
このようなデータの選択は、各データの重要性の推定に依存します。
重要度スコアは、AI 予測の不確実性と一貫性を組み合わせて計算されます。
私たちの実験では、継続的チューニングは、パフォーマンスを損なうことなく、AI を最初から繰り返しトレーニングするよりも 16 倍の速度を達成できることを実証しました。

要約(オリジナル)

Interactive segmentation, an integration of AI algorithms and human expertise, premises to improve the accuracy and efficiency of curating large-scale, detailed-annotated datasets in healthcare. Human experts revise the annotations predicted by AI, and in turn, AI improves its predictions by learning from these revised annotations. This interactive process continues to enhance the quality of annotations until no major revision is needed from experts. The key challenge is how to leverage AI predicted and expert revised annotations to iteratively improve the AI. Two problems arise: (1) The risk of catastrophic forgetting–the AI tends to forget the previously learned classes if it is only retrained using the expert revised classes. (2) Computational inefficiency when retraining the AI using both AI predicted and expert revised annotations; moreover, given the dominant AI predicted annotations in the dataset, the contribution of newly revised annotations–often account for a very small fraction–to the AI training remains marginal. This paper proposes Continual Tuning to address the problems from two perspectives: network design and data reuse. Firstly, we design a shared network for all classes followed by class-specific networks dedicated to individual classes. To mitigate forgetting, we freeze the shared network for previously learned classes and only update the class-specific network for revised classes. Secondly, we reuse a small fraction of data with previous annotations to avoid over-computing. The selection of such data relies on the importance estimate of each data. The importance score is computed by combining the uncertainty and consistency of AI predictions. Our experiments demonstrate that Continual Tuning achieves a speed 16x greater than repeatedly training AI from scratch without compromising the performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google