Unstable Unlearning: The Hidden Risk of Concept Resurgence in Diffusion Models

投稿日: 2024年10月11日 作成者: jarxiv

要約

テキストから画像への拡散モデルは、大規模な Web スケールのデータセットに依存しています。
これらをゼロからトレーニングすると計算コストがかかるため、開発者は既存のモデルを増分更新することを好むことがよくあります。
これらの更新は、多くの場合、微調整ステップ (新しい概念を学習したり、モデルのパフォーマンスを向上させるため) と、「学習を解除する」ステップ (著作権で保護された作品や露骨なコンテンツなどの既存の概念を「忘れる」ため) で構成されます。
この研究では、このパラダイムで発生する、これまで知られていなかった重大な脆弱性を実証します。たとえ無害で敵対的ではない条件下であっても、一見無関係な画像上でテキストから画像への拡散モデルを微調整すると、概念が「再学習」される可能性があります。
以前は「学習されていない」ものでした。
私たちは、「大量概念消去」（テキストから画像への拡散モデルにおけるアンラーニングの現在の最先端技術）を構成する一連の実験を実行することにより、概念復活と呼ぶこの現象の原因と範囲を包括的に調査します（Lu et
al., 2024))、その後の Stable Diffusion v1.4 の微調整。
私たちの調査結果は、増分モデルの更新を構成することの脆弱性を強調し、テキストから画像への拡散モデルの安全性と整合性を確保するための現在のアプローチに対する深刻な新たな懸念を引き起こしています。

要約(オリジナル)

Text-to-image diffusion models rely on massive, web-scale datasets. Training them from scratch is computationally expensive, and as a result, developers often prefer to make incremental updates to existing models. These updates often compose fine-tuning steps (to learn new concepts or improve model performance) with ‘unlearning’ steps (to ‘forget’ existing concepts, such as copyrighted works or explicit content). In this work, we demonstrate a critical and previously unknown vulnerability that arises in this paradigm: even under benign, non-adversarial conditions, fine-tuning a text-to-image diffusion model on seemingly unrelated images can cause it to ‘relearn’ concepts that were previously ‘unlearned.’ We comprehensively investigate the causes and scope of this phenomenon, which we term concept resurgence, by performing a series of experiments which compose ‘mass concept erasure’ (the current state of the art for unlearning in text-to-image diffusion models (Lu et al., 2024)) with subsequent fine-tuning of Stable Diffusion v1.4. Our findings underscore the fragility of composing incremental model updates, and raise serious new concerns about current approaches to ensuring the safety and alignment of text-to-image diffusion models.

arxiv情報

著者 Vinith M. Suriyakumar,Rohan Alur,Ayush Sekhari,Manish Raghavan,Ashia C. Wilson
発行日 2024-10-10 16:10:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.CV, cs.LG | コメントする

CAMIL: Context-Aware Multiple Instance Learning for Cancer Detection and Subtyping in Whole Slide Images

投稿日: 2024年10月11日 作成者: jarxiv

要約

組織生検切片の視覚検査は癌診断の基本であり、病理学者は切片を複数の倍率で分析して腫瘍細胞とそのサブタイプを識別します。
しかし、がん診断におけるホールスライド画像（WSI）の分析に使用される既存の注意ベースのマルチインスタンス学習（MIL）モデルは、腫瘍や隣接するタイルのコンテキスト情報を見落とすことが多く、誤分類につながります。
これに対処するために、私たちは Context-Aware Multiple Instance Learning (CAMIL) アーキテクチャを提案します。
CAMIL は、WSI 内のタイル間の依存関係を考慮するために近隣制約の注意を組み込み、事前知識としてコンテキスト制約を MIL モデルに統合します。
非小細胞肺がん (TCGA-NSCLC) のサブタイピングとリンパ節 (CAMELYON16 および CAMELYON17) 転移の検出に関して CAMIL を評価し、それぞれ 97.5\%、95.9\%、および 88.1\% の検査 AUC を達成し、他の州を上回りました。
最先端のメソッド。
さらに、CAMIL は診断価値の高い領域を特定することでモデルの解釈可能性を高めます。

要約(オリジナル)

The visual examination of tissue biopsy sections is fundamental for cancer diagnosis, with pathologists analyzing sections at multiple magnifications to discern tumor cells and their subtypes. However, existing attention-based multiple instance learning (MIL) models used for analyzing Whole Slide Images (WSIs) in cancer diagnostics often overlook the contextual information of tumor and neighboring tiles, leading to misclassifications. To address this, we propose the Context-Aware Multiple Instance Learning (CAMIL) architecture. CAMIL incorporates neighbor-constrained attention to consider dependencies among tiles within a WSI and integrates contextual constraints as prior knowledge into the MIL model. We evaluated CAMIL on subtyping non-small cell lung cancer (TCGA-NSCLC) and detecting lymph node (CAMELYON16 and CAMELYON17) metastasis, achieving test AUCs of 97.5\%, 95.9\%, and 88.1\%, respectively, outperforming other state-of-the-art methods. Additionally, CAMIL enhances model interpretability by identifying regions of high diagnostic value.

arxiv情報

著者 Olga Fourkioti,Matt De Vries,Chen Jin,Daniel C. Alexander,Chris Bakal
発行日 2024-10-10 16:13:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | コメントする

ToMiE: Towards Modular Growth in Enhanced SMPL Skeleton for 3D Human with Animatable Garments

投稿日: 2024年10月11日 作成者: jarxiv

要約

この論文では、ほとんどの 3D 人間のタスク、つまり複雑な衣服を着た人間のモデリングにおいて、重要でありながらも見落とされがちな要素に焦点を当てます。
SMPL のパラメータ化された処方は人間の皮膚にフィットすることが知られています。
一方、手に持つ物やゆったりとした衣服などの複雑な衣服は、通常、その動きが人体と切り離されているため、統一されたフレームワーク内でモデル化することが困難です。
この状況に対応して SMPL スケルトンの機能を強化するために、スケルトンのジョイント ツリーを適応的に拡張できるようにするモジュール成長戦略を提案します。
具体的には、ToMiE と呼ばれる私たちの手法は、親関節の位置特定と外部関節の最適化で構成されています。
親ジョイントの位置特定には、LBS ブレンディング ウェイトとモーション カーネルの両方によって導かれる勾配ベースのアプローチを採用します。
外部ジョイントが取得されたら、SE(3) でさまざまなフレームにわたるその変換の最適化に進み、レンダリングと明示的なアニメーションを有効にします。
ToMiE は、衣服のさまざまなケースにおいて、レンダリング品質だけでなく、成長した関節の無料アニメーションを提供することにより、他の方法よりも優れたパフォーマンスを実現し、それにより、より幅広いアプリケーション向けに SMPL スケルトンの表現能力を強化します。

要約(オリジナル)

In this paper, we highlight a critical yet often overlooked factor in most 3D human tasks, namely modeling humans with complex garments. It is known that the parameterized formulation of SMPL is able to fit human skin; while complex garments, e.g., hand-held objects and loose-fitting garments, are difficult to get modeled within the unified framework, since their movements are usually decoupled with the human body. To enhance the capability of SMPL skeleton in response to this situation, we propose a modular growth strategy that enables the joint tree of the skeleton to expand adaptively. Specifically, our method, called ToMiE, consists of parent joints localization and external joints optimization. For parent joints localization, we employ a gradient-based approach guided by both LBS blending weights and motion kernels. Once the external joints are obtained, we proceed to optimize their transformations in SE(3) across different frames, enabling rendering and explicit animation. ToMiE manages to outperform other methods across various cases with garments, not only in rendering quality but also by offering free animation of grown joints, thereby enhancing the expressive ability of SMPL skeleton for a broader range of applications.

arxiv情報

著者 Yifan Zhan,Qingtian Zhu,Muyao Niu,Mingze Ma,Jiancheng Zhao,Zhihang Zhong,Xiao Sun,Yu Qiao,Yinqiang Zheng
発行日 2024-10-10 16:25:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | コメントする

Distribution Guidance Network for Weakly Supervised Point Cloud Semantic Segmentation

投稿日: 2024年10月11日 作成者: jarxiv

要約

完全に監視された方法に固有の高密度のアノテーションへの依存が軽減されるにもかかわらず、弱く監視された点群セマンティック セグメンテーションは、不適切な監視信号に悩まされます。
この課題に応えて、弱い監視の下で特徴空間を調整することによって補助的な制約を与える新しい視点を導入します。
私たちの最初の調査では、どの分布が特徴空間を正確に特徴づけているかを特定し、その後、このアプリオリを活用して、弱く教師された埋め込みの位置合わせをガイドします。
具体的には、いくつかの一般的な分布候補間のフォン ミーゼス フィッシャー分布の混合 (moVMF) の優位性を分析します。
したがって、我々は、弱教師学習ブランチと配信調整ブランチで構成される配信ガイダンス ネットワーク (DGNet) を開発します。
弱教師学習ブランチから導出された信頼性の高いクラスタリング初期化を利用して、分布調整ブランチは moVMF とネットワークのパラメータを交互に更新し、moVMF で定義された潜在空間との調整を保証します。
広範な実験により、ディストリビューションの選択とネットワーク設計の合理性と有効性が検証されます。
その結果、DGNet は、複数のデータセットとさまざまな弱く監視された設定の下で最先端のパフォーマンスを実現します。

要約(オリジナル)

Despite alleviating the dependence on dense annotations inherent to fully supervised methods, weakly supervised point cloud semantic segmentation suffers from inadequate supervision signals. In response to this challenge, we introduce a novel perspective that imparts auxiliary constraints by regulating the feature space under weak supervision. Our initial investigation identifies which distributions accurately characterize the feature space, subsequently leveraging this priori to guide the alignment of the weakly supervised embeddings. Specifically, we analyze the superiority of the mixture of von Mises-Fisher distributions (moVMF) among several common distribution candidates. Accordingly, we develop a Distribution Guidance Network (DGNet), which comprises a weakly supervised learning branch and a distribution alignment branch. Leveraging reliable clustering initialization derived from the weakly supervised learning branch, the distribution alignment branch alternately updates the parameters of the moVMF and the network, ensuring alignment with the moVMF-defined latent space. Extensive experiments validate the rationality and effectiveness of our distribution choice and network design. Consequently, DGNet achieves state-of-the-art performance under multiple datasets and various weakly supervised settings.

arxiv情報

著者 Zhiyi Pan,Wei Gao,Shan Liu,Ge Li
発行日 2024-10-10 16:33:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | コメントする

UW-SDF: Exploiting Hybrid Geometric Priors for Neural SDF Reconstruction from Underwater Multi-view Monocular Images

投稿日: 2024年10月11日 作成者: jarxiv

要約

水中環境の独特な特性により、水中探査やマッピングなどのタスクでは、水中の物体の正確な 3D 再構成が困難な問題を引き起こします。
3D 再構築のために複数のセンサー データに依存する従来の方法は時間がかかり、水中シナリオでのデータ取得において課題に直面しています。
我々はニューラルSDFに基づいて多視点水中画像から対象物体を再構成するフレームワークUW-SDFを提案する。
ハイブリッド幾何事前分布を導入して再構成プロセスを最適化し、ニューラル SDF 再構成の品質と効率を大幅に向上させます。
さらに、マルチビュー画像のセグメンテーションの一貫性という課題に対処するために、汎用セグメンテーション モデル (SAM) を使用した新しい少数ショットのマルチビュー ターゲット セグメンテーション戦略を提案し、目に見えないオブジェクトの迅速な自動セグメンテーションを可能にします。
多様なデータセットに対する広範な定性的および定量的実験を通じて、私たちが提案する方法が、水中3D再構成の分野における従来の水中3D再構成方法や他のニューラルレンダリングアプローチよりも優れていることを実証します。

要約(オリジナル)

Due to the unique characteristics of underwater environments, accurate 3D reconstruction of underwater objects poses a challenging problem in tasks such as underwater exploration and mapping. Traditional methods that rely on multiple sensor data for 3D reconstruction are time-consuming and face challenges in data acquisition in underwater scenarios. We propose UW-SDF, a framework for reconstructing target objects from multi-view underwater images based on neural SDF. We introduce hybrid geometric priors to optimize the reconstruction process, markedly enhancing the quality and efficiency of neural SDF reconstruction. Additionally, to address the challenge of segmentation consistency in multi-view images, we propose a novel few-shot multi-view target segmentation strategy using the general-purpose segmentation model (SAM), enabling rapid automatic segmentation of unseen objects. Through extensive qualitative and quantitative experiments on diverse datasets, we demonstrate that our proposed method outperforms the traditional underwater 3D reconstruction method and other neural rendering approaches in the field of underwater 3D reconstruction.

arxiv情報

著者 Zeyu Chen,Jingyi Tang,Gu Wang,Shengquan Li,Xinghui Li,Xiangyang Ji,Xiu Li
発行日 2024-10-10 16:33:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | コメントする

CrackSegDiff: Diffusion Probability Model-based Multi-modal Crack Segmentation

投稿日: 2024年10月11日 作成者: jarxiv

要約

グレースケールデータと深度データを道路検査ロボットに統合すると、道路状況評価の精度、信頼性、包括性が向上し、メンテナンス戦略の改善とより安全なインフラストラクチャにつながる可能性があります。
ただし、これらのデータ ソースは、舗装からの重大なバックグラウンド ノイズによって損なわれることがよくあります。
拡散確率モデル (DPM) の最近の進歩は、SegDiff \cite{amit2021segdiff} などの研究で証明されているように、画像セグメンテーション タスクで目覚ましい成功を収め、強力なノイズ除去機能を示しています。
これらの進歩にもかかわらず、現在の DPM ベースのセグメンタは元の画像データの可能性を十分に活用していません。
この論文では、グレースケール画像と距離/深さ画像を独自に融合する、CrackSegDiff と呼ばれる亀裂セグメンテーションのための新しい DPM ベースのアプローチを提案します。
この方法は、DPM によるローカル特徴抽出とグローバル特徴抽出の間の相互作用を強化することにより、逆拡散プロセスを強化します。
グローバル機能に Transformer を利用する従来の方法とは異なり、私たちのアプローチでは Vm-unet \cite{ruan2024vm} を採用して、元のデータの長距離情報を効率的にキャプチャします。
機能の統合は、Channel Fusion Module (CFM) と Shallow Feature Compensation Module (SFCM) という 2 つの革新的なモジュールを通じてさらに洗練されています。
FIND データセット内の 3 クラスの亀裂画像セグメンテーション タスクに関する実験的評価では、CrackSegDiff が最先端の方法よりも優れた性能を発揮し、特に浅い亀裂の検出に優れていることが実証されました。
コードは https://github.com/sky-visionX/CrackSegDiff で入手できます。

要約(オリジナル)

Integrating grayscale and depth data in road inspection robots could enhance the accuracy, reliability, and comprehensiveness of road condition assessments, leading to improved maintenance strategies and safer infrastructure. However, these data sources are often compromised by significant background noise from the pavement. Recent advancements in Diffusion Probabilistic Models (DPM) have demonstrated remarkable success in image segmentation tasks, showcasing potent denoising capabilities, as evidenced in studies like SegDiff \cite{amit2021segdiff}. Despite these advancements, current DPM-based segmentors do not fully capitalize on the potential of original image data. In this paper, we propose a novel DPM-based approach for crack segmentation, named CrackSegDiff, which uniquely fuses grayscale and range/depth images. This method enhances the reverse diffusion process by intensifying the interaction between local feature extraction via DPM and global feature extraction. Unlike traditional methods that utilize Transformers for global features, our approach employs Vm-unet \cite{ruan2024vm} to efficiently capture long-range information of the original data. The integration of features is further refined through two innovative modules: the Channel Fusion Module (CFM) and the Shallow Feature Compensation Module (SFCM). Our experimental evaluation on the three-class crack image segmentation tasks within the FIND dataset demonstrates that CrackSegDiff outperforms state-of-the-art methods, particularly excelling in the detection of shallow cracks. Code is available at https://github.com/sky-visionX/CrackSegDiff.

arxiv情報

著者 Xiaoyan Jiang,Licheng Jiang,Anjie Wang,Kaiying Zhu,Yongbin Gao
発行日 2024-10-10 16:44:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | コメントする

IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera

投稿日: 2024年10月11日 作成者: jarxiv

要約

新しいビュー合成のための暗黙的ニューラル表現と明示的 3D ガウス スプラッティング (3D-GS) は、最近、フレームベースのカメラ (RGB カメラや RGB-D カメラなど) で目覚ましい進歩を遂げています。
フレームベースのカメラと比較して、新しいタイプの生体からインスピレーションを得た視覚センサー、つまりイベント カメラは、高時間解像度、高ダイナミック レンジ、低消費電力、低遅延という利点を実証しています。
独自の非同期で不規則なデータ キャプチャ プロセスのため、イベント カメラにニューラル表現または 3D ガウス スプラッティングを適用するために提案されている作業は限られています。
この研究では、単一のイベント カメラを使用したインクリメンタル 3D ガウス スプラッティング再構成アルゴリズムである IncEventGS を紹介します。
3D シーン表現を段階的に復元するために、IncEventGS の従来の SLAM パイプラインの追跡およびマッピング パラダイムを利用します。
受信イベント ストリームが与えられると、トラッカーはまず、以前に再構築された 3D-GS シーン表現に基づいて初期カメラの動きを推定します。
次に、マッパーは、トラッカーから事前に推定されたモーション軌跡に基づいて、3D シーン表現とカメラ モーションの両方を共同で調整します。
実験結果は、グラウンドトゥルース カメラのポーズがない場合でも、IncEventGS が以前の NeRF ベースの手法やその他の関連ベースラインと比較して優れたパフォーマンスを提供することを示しています。
さらに、私たちの方法は、カメラの動きの推定に関して、最先端のイベントビジュアルオドメトリ方法と比較して優れたパフォーマンスを提供することもできます。
コードは https://github.com/wu-cvgl/IncEventGS で公開されています。

要約(オリジナル)

Implicit neural representation and explicit 3D Gaussian Splatting (3D-GS) for novel view synthesis have achieved remarkable progress with frame-based camera (e.g. RGB and RGB-D cameras) recently. Compared to frame-based camera, a novel type of bio-inspired visual sensor, i.e. event camera, has demonstrated advantages in high temporal resolution, high dynamic range, low power consumption and low latency. Due to its unique asynchronous and irregular data capturing process, limited work has been proposed to apply neural representation or 3D Gaussian splatting for an event camera. In this work, we present IncEventGS, an incremental 3D Gaussian Splatting reconstruction algorithm with a single event camera. To recover the 3D scene representation incrementally, we exploit the tracking and mapping paradigm of conventional SLAM pipelines for IncEventGS. Given the incoming event stream, the tracker firstly estimates an initial camera motion based on prior reconstructed 3D-GS scene representation. The mapper then jointly refines both the 3D scene representation and camera motion based on the previously estimated motion trajectory from the tracker. The experimental results demonstrate that IncEventGS delivers superior performance compared to prior NeRF-based methods and other related baselines, even we do not have the ground-truth camera poses. Furthermore, our method can also deliver better performance compared to state-of-the-art event visual odometry methods in terms of camera motion estimation. Code is publicly available at: https://github.com/wu-cvgl/IncEventGS.

arxiv情報

著者 Jian Huang,Chengrui Dong,Peidong Liu
発行日 2024-10-10 16:54:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | コメントする

Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning

投稿日: 2024年10月11日 作成者: jarxiv

要約

最近、事前トレーニング技術を活用して点群モデルを強化することが注目の研究テーマになっています。
ただし、既存のアプローチでは通常、下流のタスクで満足のいくパフォーマンスを達成するために、事前トレーニングされたモデルを完全に微調整する必要があり、ストレージ集約型で計算負荷が高くなります。
この問題に対処するために、我々は、PointGST (Point Cloud Graph Spectral Tuning) と呼ばれる、点群のための新しい Parameter-Efficient Fine-Tuning (PEFT) 方法を提案します。
PointGST は、事前トレーニングされたモデルをフリーズし、軽量でトレーニング可能な点群スペクトル アダプター (PCSA) を導入して、スペクトル ドメインのパラメーターを微調整します。
核となるアイデアは 2 つの観察に基づいて構築されています。1) 凍結されたモデルからの内部トークンは、空間領域で混乱を引き起こす可能性があります。
2) タスク固有の固有情報は、一般的な知識を下流のタスクに転送するために重要です。
具体的には、PointGST はポイント トークンを空間ドメインからスペクトル ドメインに転送し、分離に直交成分を使用することでトークン間の混乱を効果的に非相関化します。
さらに、生成されたスペクトル基底には下流の点群に関する固有の情報が含まれており、よりターゲットを絞った調整が可能になります。
その結果、PointGST は、トレーニング コストを大幅に削減しながら、一般知識を下流のタスクに効率的に伝達することを容易にします。
さまざまなタスクにわたる困難な点群データセットに関する広範な実験により、PointGST が完全に微調整された対応物よりも優れたパフォーマンスを発揮するだけでなく、トレーニング可能なパラメータが大幅に削減され、効率的な点群学習のための有望なソリューションとなることが実証されました。
堅調なベースラインから +2.28%、1.16%、2.78% 向上し、ScanObjNN OBJ BG、OBJ OBLY、PB T50 RS データセットではそれぞれ 99.48%、97.76%、96.18% となりました。
この進歩により、トレーニング可能なパラメータのわずか 0.67% を使用して、新たな最先端技術が確立されました。

要約(オリジナル)

Recently, leveraging pre-training techniques to enhance point cloud models has become a hot research topic. However, existing approaches typically require full fine-tuning of pre-trained models to achieve satisfied performance on downstream tasks, accompanying storage-intensive and computationally demanding. To address this issue, we propose a novel Parameter-Efficient Fine-Tuning (PEFT) method for point cloud, called PointGST (Point cloud Graph Spectral Tuning). PointGST freezes the pre-trained model and introduces a lightweight, trainable Point Cloud Spectral Adapter (PCSA) to fine-tune parameters in the spectral domain. The core idea is built on two observations: 1) The inner tokens from frozen models might present confusion in the spatial domain; 2) Task-specific intrinsic information is important for transferring the general knowledge to the downstream task. Specifically, PointGST transfers the point tokens from the spatial domain to the spectral domain, effectively de-correlating confusion among tokens via using orthogonal components for separating. Moreover, the generated spectral basis involves intrinsic information about the downstream point clouds, enabling more targeted tuning. As a result, PointGST facilitates the efficient transfer of general knowledge to downstream tasks while significantly reducing training costs. Extensive experiments on challenging point cloud datasets across various tasks demonstrate that PointGST not only outperforms its fully fine-tuning counterpart but also significantly reduces trainable parameters, making it a promising solution for efficient point cloud learning. It improves upon a solid baseline by +2.28%, 1.16%, and 2.78%, resulting in 99.48%, 97.76%, and 96.18% on the ScanObjNN OBJ BG, OBJ OBLY, and PB T50 RS datasets, respectively. This advancement establishes a new state-of-the-art, using only 0.67% of the trainable parameters.

arxiv情報

著者 Dingkang Liang,Tianrui Feng,Xin Zhou,Yumeng Zhang,Zhikang Zou,Xiang Bai
発行日 2024-10-10 17:00:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | コメントする

Medical Image Quality Assessment based on Probability of Necessity and Sufficiency

投稿日: 2024年10月11日 作成者: jarxiv

要約

医用画像品質評価 (MIQA) は、信頼性の高い医用画像分析に不可欠です。
ディープラーニングはこの分野で有望であることが示されていますが、現在のモデルはデータから学習した偽の相関によって誤解される可能性があり、配布外 (OOD) シナリオに苦戦する可能性があります。
そのために、私たちは因果推論の概念である必要性と十分性の確率 (PNS) に基づいた MIQA フレームワークを提案します。
PNS は、一連の特徴が特定の結果に対して必要 (結果に対して常に存在する) である可能性と十分である (結果を保証できる) 可能性の両方を測定します。
私たちのアプローチは、品質予測のために高い PNS 値を持つ医療画像から隠された特徴を学習することによってこの概念を活用します。
これにより、モデルがより重要な予測情報を取得することが促進され、OOD シナリオに対する堅牢性が強化されます。
MIQA タスクの前眼部光コヒーレンス断層撮影 (AS-OCT) データセットに関するフレームワークを評価し、実験結果によりフレームワークの有効性が実証されました。

要約(オリジナル)

Medical image quality assessment (MIQA) is essential for reliable medical image analysis. While deep learning has shown promise in this field, current models could be misled by spurious correlations learned from data and struggle with out-of-distribution (OOD) scenarios. To that end, we propose an MIQA framework based on a concept from causal inference: Probability of Necessity and Sufficiency (PNS). PNS measures how likely a set of features is to be both necessary (always present for an outcome) and sufficient (capable of guaranteeing an outcome) for a particular result. Our approach leverages this concept by learning hidden features from medical images with high PNS values for quality prediction. This encourages models to capture more essential predictive information, enhancing their robustness to OOD scenarios. We evaluate our framework on an Anterior Segment Optical Coherence Tomography (AS-OCT) dataset for the MIQA task and experimental results demonstrate the effectiveness of our framework.

arxiv情報

著者 Boyu Chen,Ameenat L. Solebo,Weiye Bao,Paul Taylor
発行日 2024-10-10 17:01:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | コメントする

Q-VLM: Post-training Quantization for Large Vision-Language Models

投稿日: 2024年10月11日 作成者: jarxiv

要約

この論文では、効率的なマルチモーダル推論のための大規模ビジョン言語モデル (LVLM) のトレーニング後の量子化フレームワークを提案します。
従来の量子化手法は、活性化離散化誤差を最小限に抑えて層ごとの丸め関数を逐次探索するため、層間の依存性を考慮せずに最適な量子化戦略を取得できません。
逆に、視覚言語モデル全体の離散化誤差に大きな影響を与える層間依存関係をマイニングし、この依存関係を低探索コストで最適な量子化戦略探索に埋め込みます。
具体的には、活性化エントロピーと出力離散化誤差に関する層間依存性との間に強い相関関係があることが観察されます。
したがって、ブロックを最適に分割するためのプロキシとしてエントロピーを使用します。これは、離散化エラーと検索コストの間で満足のいくトレードオフを達成することを目的としています。
さらに、ビジュアル エンコーダを最適化して、探索空間をきめ細かく分解するための層間の依存関係を解消し、量子化精度を損なうことなく探索コストをさらに削減します。
実験結果は、私たちの方法が、多様なマルチモーダル推論タスクでパフォーマンスを低下させることなく、メモリを 2.78 倍圧縮し、約 13B LLaVA モデルの生成速度を 1.44 倍向上させることを示しています。
コードは https://github.com/ChangyuanWang17/QVLM で入手できます。

要約(オリジナル)

In this paper, we propose a post-training quantization framework of large vision-language models (LVLMs) for efficient multi-modal inference. Conventional quantization methods sequentially search the layer-wise rounding functions by minimizing activation discretization errors, which fails to acquire optimal quantization strategy without considering cross-layer dependency. On the contrary, we mine the cross-layer dependency that significantly influences discretization errors of the entire vision-language model, and embed this dependency into optimal quantization strategy searching with low search cost. Specifically, we observe the strong correlation between the activation entropy and the cross-layer dependency concerning output discretization errors. Therefore, we employ the entropy as the proxy to partition blocks optimally, which aims to achieve satisfying trade-offs between discretization errors and the search cost. Moreover, we optimize the visual encoder to disentangle the cross-layer dependency for fine-grained decomposition of search space, so that the search cost is further reduced without harming the quantization accuracy. Experimental results demonstrate that our method compresses the memory by 2.78x and increase generate speed by 1.44x about 13B LLaVA model without performance degradation on diverse multi-modal reasoning tasks. Code is available at https://github.com/ChangyuanWang17/QVLM.

arxiv情報

著者 Changyuan Wang,Ziwei Wang,Xiuwei Xu,Yansong Tang,Jie Zhou,Jiwen Lu
発行日 2024-10-10 17:02:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | コメントする