Efficient Continual Adaptation of Pretrained Robotic Policy with Online Meta-Learned Adapters

投稿日: 2025年3月25日 作成者: jarxiv

要約

継続的な適応は、一般的な自律エージェントにとって不可欠です。
たとえば、スキルのレパートリーで前提とされた家庭用ロボットは、各世帯に固有の目に見えないタスクに適応する必要があります。
これにより動機付けられ、言語モデルのパラメーター効率の高い微調整に基づいて、以前の作品は軽量アダプターを探索して、前提条件のポリシーを適応させました。
ただし、これらのアプローチはタスクの学習を個別に扱い、タスク間の知識移転を制限します。
このホワイトペーパーでは、オンラインメタ学習アダプター（OMLA）を提案します。
アダプターを直接適用する代わりに、OMLAは、以前に学習したタスクから、新しいメタラーニング目標を通じて現在の学習タスクへの知識移転を促進できます。
シミュレートされた環境と現実世界の両方の環境での広範な実験は、オムラがベースラインの方法と比較してより良い適応パフォーマンスにつながる可能性があることを示しています。
プロジェクトリンク：https：//ricky-zhu.github.io/omla/。

要約(オリジナル)

Continual adaptation is essential for general autonomous agents. For example, a household robot pretrained with a repertoire of skills must still adapt to unseen tasks specific to each household. Motivated by this, building upon parameter-efficient fine-tuning in language models, prior works have explored lightweight adapters to adapt pretrained policies, which can preserve learned features from the pretraining phase and demonstrate good adaptation performances. However, these approaches treat task learning separately, limiting knowledge transfer between tasks. In this paper, we propose Online Meta-Learned adapters (OMLA). Instead of applying adapters directly, OMLA can facilitate knowledge transfer from previously learned tasks to current learning tasks through a novel meta-learning objective. Extensive experiments in both simulated and real-world environments demonstrate that OMLA can lead to better adaptation performances compared to the baseline methods. The project link: https://ricky-zhu.github.io/OMLA/.

arxiv情報

著者 Ruiqi Zhu,Endong Sun,Guanhe Huang,Oya Celiktutan
発行日 2025-03-24 13:55:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Efficient Continual Adaptation of Pretrained Robotic Policy with Online Meta-Learned Adapters はコメントを受け付けていません

CholecTrack20: A Multi-Perspective Tracking Dataset for Surgical Tools

投稿日: 2025年3月25日 作成者: jarxiv

要約

手術ビデオのツール追跡は、スキル評価、安全ゾーンの推定、人間のコラボレーションなどのコンピューター支援介入を進めるために不可欠です。
ただし、コンテキストが豊富なデータセットの欠如は、このフィールドのAIアプリケーションを制限します。
既存のデータセットは、カメラのビューから移動したりボディから出たりするツールなど、外科的特異的ダイナミクスをキャプチャできない、過度に一般的な追跡形式化に依存しています。
これにより、臨床的に関連性の低い軌道と、実際の外科的応用の柔軟性が不足しています。
これらのデータセットで訓練された方法は、しばしば煙、反射、出血などの視覚的な課題に苦労し、現在のアプローチの制限をさらに明らかにします。
外科的処置におけるマルチクラスのマルチツール追跡のための特殊なデータセットであるCholectrack20を紹介します。
（i）術中、（ii）体内、および（iii）視認性の3つの視点で追跡形式化を再定義し、適応可能で臨床的に意味のあるツール軌跡を可能にします。
データセットには、1 fpsで注釈が付けられた20のフルレングスの手術ビデオで構成され、35kを超えるフレームと65kのラベル付けされたツールインスタンスが生成されます。
注釈には、空間的位置、カテゴリ、アイデンティティ、オペレーター、フェーズ、シーンの視覚的課題が含まれます。
Cholectrack20の最先端のメソッドのベンチマークは、臨床翻訳に必要な精度を満たすことができない現在のアプローチ（<45 \％hota）で、重要なパフォーマンスギャップを明らかにしています。 これらの発見は、高度で直感的な追跡アルゴリズムの必要性を動機付け、堅牢なAI駆動型の手術支援システムを開発するための基盤としてChoLectrack20を確立します。

要約(オリジナル)

Tool tracking in surgical videos is essential for advancing computer-assisted interventions, such as skill assessment, safety zone estimation, and human-machine collaboration. However, the lack of context-rich datasets limits AI applications in this field. Existing datasets rely on overly generic tracking formalizations that fail to capture surgical-specific dynamics, such as tools moving out of the camera’s view or exiting the body. This results in less clinically relevant trajectories and a lack of flexibility for real-world surgical applications. Methods trained on these datasets often struggle with visual challenges such as smoke, reflection, and bleeding, further exposing the limitations of current approaches. We introduce CholecTrack20, a specialized dataset for multi-class, multi-tool tracking in surgical procedures. It redefines tracking formalization with three perspectives: (i) intraoperative, (ii) intracorporeal, and (iii) visibility, enabling adaptable and clinically meaningful tool trajectories. The dataset comprises 20 full-length surgical videos, annotated at 1 fps, yielding over 35K frames and 65K labeled tool instances. Annotations include spatial location, category, identity, operator, phase, and scene visual challenge. Benchmarking state-of-the-art methods on CholecTrack20 reveals significant performance gaps, with current approaches (< 45\% HOTA) failing to meet the accuracy required for clinical translation. These findings motivate the need for advanced and intuitive tracking algorithms and establish CholecTrack20 as a foundation for developing robust AI-driven surgical assistance systems.

arxiv情報

著者 Chinedu Innocent Nwoye,Kareem Elgohary,Anvita Srinivas,Fauzan Zaid,Joël L. Lavanchy,Nicolas Padoy
発行日 2025-03-24 14:12:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV | CholecTrack20: A Multi-Perspective Tracking Dataset for Surgical Tools はコメントを受け付けていません

Energy-Efficient Dynamic Training and Inference for GNN-Based Network Modeling

投稿日: 2025年3月25日 作成者: jarxiv

要約

効率的なネットワークモデリングは、次世代の大規模な複雑なネットワークにおけるリソースの最適化とネットワーク計画に不可欠です。
キューイング理論ベースのモデリングやパケットベースのシミュレーターなどの従来のアプローチは、それぞれの仮定と計算費用のために非効率的です。
これらの課題に対処するために、コンテキスト認識ネットワークモデリングと予測のためのグラフニューラルネットワーク（GNN）ベースのモデルトレーニングと推論フレームワークの革新的なエネルギー効率の高い動的オーケストレーションを提案します。
GNNベースのネットワークモデリングの適応オーケストレーションのための量子近似最適化（QAO）アルゴリズムである、低複合性ソリューションフレームワークQAGを開発しました。
三者グラフモデルを活用して、多くの計算ノードを備えたマルチアプリケーションシステムを表します。
その後、QAOを使用して制約付きグラフカットを適用して、GNNベースのモデルの実行可能なエネルギー効率の高い構成を見つけ、使用可能なコンピューティングノードにそれらを展開して、ネットワークモデリングアプリケーション要件を満たします。
提案されているQAGスキームは、最適なものと密接に一致し、60％低いチャーン率でアプリケーション要件を満たしている間、少なくとも50％のエネルギー節約を提供します。

要約(オリジナル)

Efficient network modeling is essential for resource optimization and network planning in next-generation large-scale complex networks. Traditional approaches, such as queuing theory-based modeling and packet-based simulators, can be inefficient due to the assumption made and the computational expense, respectively. To address these challenges, we propose an innovative energy-efficient dynamic orchestration of Graph Neural Networks (GNN) based model training and inference framework for context-aware network modeling and predictions. We have developed a low-complexity solution framework, QAG, that is a Quantum approximation optimization (QAO) algorithm for Adaptive orchestration of GNN-based network modeling. We leverage the tripartite graph model to represent a multi-application system with many compute nodes. Thereafter, we apply the constrained graph-cutting using QAO to find the feasible energy-efficient configurations of the GNN-based model and deploying them on the available compute nodes to meet the network modeling application requirements. The proposed QAG scheme closely matches the optimum and offers atleast a 50% energy saving while meeting the application requirements with 60% lower churn-rate.

arxiv情報

著者 Chetna Singhal,Yassine Hadjadj-Aoul
発行日 2025-03-24 14:17:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.ET, cs.LG, cs.NI | Energy-Efficient Dynamic Training and Inference for GNN-Based Network Modeling はコメントを受け付けていません

Understanding Model Calibration — A gentle introduction and visual exploration of calibration and the expected calibration error (ECE)

投稿日: 2025年3月25日 作成者: jarxiv

要約

信頼できると見なされるためには、各決定に対する信頼が真の結果を密接に反映するように、モデルを調整する必要があります。
このブログ投稿では、キャリブレーションに最も一般的に使用される定義を見て、モデルキャリブレーションのために頻繁に使用される評価測定に飛び込みます。
次に、この尺度の欠点のいくつかと、これらが独自の新しい評価測定を必要とするキャリブレーションの追加概念の必要性をどのように浮上させたかをカバーします。
この投稿は、キャリブレーションに関するすべての作業の詳細な分析ではなく、モデルのキャリブレーション方法にも焦点を当てていません。
代わりに、さまざまな概念とその評価尺度への穏やかな紹介を提供するだけでなく、キャリブレーションを評価するためにまだ広く使用されている尺度でいくつかの問題を再照らすことを目的としています。

要約(オリジナル)

To be considered reliable, a model must be calibrated so that its confidence in each decision closely reflects its true outcome. In this blogpost we’ll take a look at the most commonly used definition for calibration and then dive into a frequently used evaluation measure for model calibration. We’ll then cover some of the drawbacks of this measure and how these surfaced the need for additional notions of calibration, which require their own new evaluation measures. This post is not intended to be an in-depth dissection of all works on calibration, nor does it focus on how to calibrate models. Instead, it is meant to provide a gentle introduction to the different notions and their evaluation measures as well as to re-highlight some issues with a measure that is still widely used to evaluate calibration.

arxiv情報

著者 Maja Pavlovic
発行日 2025-03-24 14:38:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG, stat.ME, stat.ML | Understanding Model Calibration — A gentle introduction and visual exploration of calibration and the expected calibration error (ECE) はコメントを受け付けていません

Benchmarking Post-Training Quantization in LLMs: Comprehensive Taxonomy, Unified Evaluation, and Comparative Analysis

投稿日: 2025年3月25日 作成者: jarxiv

要約

トレーニング後の量子化（PTQ）技術は、その効率と低リソースの要件により、大規模な言語モデル（LLMS）圧縮に広く採用されています。
ただし、現在の研究には、各PTQ戦略の優れたシナリオと適用可能なシナリオの詳細な分析がありません。
さらに、既存のアルゴリズムは主にパフォーマンスに焦点を当て、モデルサイズ、パフォーマンス、および量子化のbit幅のトレードオフを見落としています。
これらの混乱を軽減するために、このペーパーではLLMS PTQの新しいベンチマークを提供します。
第一に、当社のベンチマークをサポートするために、計算戦略（最適化ベース、補償ベースなど）を精査することにより、既存の主流の方法の包括的な分類法を提案します。
次に、各クラス内のベースラインを使用して広範な実験を行い、さまざまなサイズ（7B-70B）、ビトリッド、トレーニングレベル（LLAMA1/2/3/3.1）、アーキテクチャ（Mixtral、Deepseekmoe、Mamba）、およびModality（LLAVA1.5およびVILA1.5）の幅広い比較のMetris formstrisをカバーしています。
パフォーマンスを考慮して、各PTQ戦略とモデル化されたビット幅のトレードオフをモデル化します。
たとえば、私たちのベンチマークは、補償ベースの手法が未解決のクロスアーキテクチャの堅牢性を示しており、超大型モデルの非常に低いビットPTQを再検討する必要があることを明らかにしています。
最後に、補償と他のPTQ戦略の実際的な組み合わせがSOTAさまざまな堅牢性を達成できるとさらに主張します。
当社のベンチマークは、LLMSの展開とPTQアプローチに関する将来の研究に関する貴重な推奨事項を提供すると考えています。https://github.com/zjq0455/ptq_benchmarkでベンチマークのリポジトリを実施します。

要約(オリジナル)

Post-training Quantization (PTQ) technique has been extensively adopted for large language models (LLMs) compression owing to its efficiency and low resource requirement. However, current research lacks a in-depth analysis of the superior and applicable scenarios of each PTQ strategy. In addition, existing algorithms focus primarily on performance, overlooking the trade-off among model size, performance, and quantization bitwidth. To mitigate these confusions, we provide a novel benchmark for LLMs PTQ in this paper. Firstly, in order to support our benchmark, we propose a comprehensive taxonomy for existing mainstream methods by scrutinizing their computational strategies (e.g., optimization-based, compensation-based, etc.). Then, we conduct extensive experiments with the baseline within each class, covering models with various sizes (7B-70B), bitwidths, training levels (LLaMA1/2/3/3.1), architectures (Mixtral, DeepSeekMoE and Mamba) and modality (LLaVA1.5 and VILA1.5) on a wide range of evaluation metrics.Through comparative analysis on the results, we summarize the superior of each PTQ strategy and modelsize-bitwidth trade-off considering the performance. For example, our benchmark reveals that compensation-based technique demonstrates outstanding cross-architecture robustness and extremely low-bit PTQ for ultra large models should be reexamined. Finally, we further accordingly claim that a practical combination of compensation and other PTQ strategy can achieve SOTA various robustness. We believe that our benchmark will provide valuable recommendations for the deployment of LLMs and future research on PTQ approaches.We conduct an repository for our benchmark at https://github.com/zjq0455/PTQ_Benchmark.

arxiv情報

著者 Jiaqi Zhao,Ming Wang,Miao Zhang,Yuzhang Shang,Xuebo Liu,Yaowei Wang,Min Zhang,Liqiang Nie
発行日 2025-03-24 14:47:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Benchmarking Post-Training Quantization in LLMs: Comprehensive Taxonomy, Unified Evaluation, and Comparative Analysis はコメントを受け付けていません

RankCLIP: Ranking-Consistent Language-Image Pretraining

投稿日: 2025年3月25日 作成者: jarxiv

要約

クリップなどの自己監視対照学習モデルは、多くの下流タスクでビジョン言語モデルの新しいベンチマークを設定しています。
ただし、剛性の1対1マッピングへの依存性は、テキストと画像の間の複雑で多面的な関係を見落としています。
この目的のために、クリップとそのバリアントの剛性の1対1のマッチングフレームワークを超えて拡張する新しいトレーニング前の方法であるRankClipを紹介します。
従来のペアワイズの損失をリストごとに拡張し、モーダルランキングとクロスモーダルの両方のランキングの一貫性を活用することにより、RankClipはアラインメントプロセスを改善し、各モダリティ間およびおよび各モダリティ間の微妙な多くの多くの関係をキャプチャできるようにします。
包括的な実験を通じて、さまざまな下流タスクにおけるRankClipの有効性を実証し、特に最先端の方法でゼロショット分類の大幅な利益を達成し、この強化された学習プロセスの重要性を強調しています。

要約(オリジナル)

Self-supervised contrastive learning models, such as CLIP, have set new benchmarks for vision-language models in many downstream tasks. However, their dependency on rigid one-to-one mappings overlooks the complex and often multifaceted relationships between and within texts and images. To this end, we introduce RankCLIP, a novel pre-training method that extends beyond the rigid one-to-one matching framework of CLIP and its variants. By extending the traditional pair-wise loss to list-wise, and leveraging both in-modal and cross-modal ranking consistency, RankCLIP improves the alignment process, enabling it to capture the nuanced many-to-many relationships between and within each modality. Through comprehensive experiments, we demonstrate the effectiveness of RankCLIP in various downstream tasks, notably achieving significant gains in zero-shot classifications over state-of-the-art methods, underscoring the importance of this enhanced learning process.

arxiv情報

著者 Yiming Zhang,Zhuokai Zhao,Zhaorun Chen,Zhili Feng,Zenghui Ding,Yining Sun
発行日 2025-03-24 14:48:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG | RankCLIP: Ranking-Consistent Language-Image Pretraining はコメントを受け付けていません

Implementing An Artificial Quantum Perceptron

投稿日: 2025年3月25日 作成者: jarxiv

要約

パーセプトロンは、ニューラルネットワークの基本的な構成要素です。
Perceptronの柔軟性とスケーラビリティにより、インテリジェントシステムの構築に遍在します。
研究は、知的な決定を下す際に単一のニューロンの有効性を示しています。
ここでは、2つのパーセプロンを明確なメカニズムで調べて比較し、それらのパーセプロンの1つの量子バージョンを開発しました。
このモデリングの一環として、人工知覚のために量子回路を実装し、データセットを生成し、トレーニングをシミュレートしました。
これらの実験を通じて、指数関数的な成長の優位性があり、さまざまなqubitバージョンをテストすることが示されます。
私たちの調査結果は、個々のパーセプトロンのこの量子モデルをパターン分類器として使用できることを示しています。
2番目のタイプのモデルについては、スパイク依存の量子パーセプトロンを設計およびシミュレートすることを理解します。
私たちのコードは、https：//github.com/ashutosh1919/quantum-perceptronで入手できます

要約(オリジナル)

A Perceptron is a fundamental building block of a neural network. The flexibility and scalability of perceptron make it ubiquitous in building intelligent systems. Studies have shown the efficacy of a single neuron in making intelligent decisions. Here, we examined and compared two perceptrons with distinct mechanisms, and developed a quantum version of one of those perceptrons. As a part of this modeling, we implemented the quantum circuit for an artificial perception, generated a dataset, and simulated the training. Through these experiments, we show that there is an exponential growth advantage and test different qubit versions. Our findings show that this quantum model of an individual perceptron can be used as a pattern classifier. For the second type of model, we provide an understanding to design and simulate a spike-dependent quantum perceptron. Our code is available at https://github.com/ashutosh1919/quantum-perceptron

arxiv情報

著者 Ashutosh Hathidara,Lalit Pandey
発行日 2025-03-24 14:54:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, quant-ph | Implementing An Artificial Quantum Perceptron はコメントを受け付けていません

Construction Identification and Disambiguation Using BERT: A Case Study of NPN

投稿日: 2025年3月25日 作成者: jarxiv

要約

建設文法は、言語の知識は、語彙、一般的な文法規則、さらには特異なパターンを含む、形式のペア（「構造」）の知識で構成されているという仮説を立てています。
最近の研究では、変圧器の言語モデルは、構造が全体的にまれなものを含む少なくともいくつかの構造パターンを表していることが示されています。
この作業では、英語の軽微な構造の形と意味のバートの表現をプローブします。NPN（名詞 – プレポーション名）構造は、対面と日々のような表現で展示されています。
意味的に注釈されたコーパスインスタンスのベンチマークデータセットを作成します（構造に表面的に似たディストラクタを含む）。
このデータセットを使用すると、プローブ分類子をトレーニングおよび評価します。
彼らは、ディストラクタからの建設のまともな差別を達成し、建設の真の事例の間で曖昧性を乱していることを感知し、バートの埋め込みが建設のセマンティクスの兆候を示していることを明らかにしています。
さらに、真の構造インスタンスの語順に人為的に順序付けられると、それらが拒否され、形の問題に対する感度が示されます。
Bertは、表面の構文パターンと語彙の手がかりを超えるNPN構造に関する少なくともある程度の知識を潜在的にエンコードしていると結論付けています。

要約(オリジナル)

Construction Grammar hypothesizes that knowledge of a language consists chiefly of knowledge of form-meaning pairs (”constructions”) that include vocabulary, general grammar rules, and even idiosyncratic patterns. Recent work has shown that transformer language models represent at least some constructional patterns, including ones where the construction is rare overall. In this work, we probe BERT’s representation of the form and meaning of a minor construction of English, the NPN (noun-preposition-noun) construction — exhibited in such expressions as face to face and day to day — which is known to be polysemous. We construct a benchmark dataset of semantically annotated corpus instances (including distractors that superficially resemble the construction). With this dataset, we train and evaluate probing classifiers. They achieve decent discrimination of the construction from distractors, as well as sense disambiguation among true instances of the construction, revealing that BERT embeddings carry indications of the construction’s semantics. Moreover, artificially permuting the word order of true construction instances causes them to be rejected, indicating sensitivity to matters of form. We conclude that BERT does latently encode at least some knowledge of the NPN construction going beyond a surface syntactic pattern and lexical cues.

arxiv情報

著者 Wesley Scivetti,Nathan Schneider
発行日 2025-03-24 14:59:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Construction Identification and Disambiguation Using BERT: A Case Study of NPN はコメントを受け付けていません

EgoSurgery-HTS: A Dataset for Egocentric Hand-Tool Segmentation in Open Surgery Videos

投稿日: 2025年3月25日 作成者: jarxiv

要約

エゴセントリックのオープンスラージビデオは、手術室での外科的処置と人間の行動を正確にモデル化するために不可欠な豊かできめの細かい詳細をキャプチャします。
手と外科用ツールの詳細なピクセルレベルの理解は、外科医の行動と意図を解釈するために重要です。
Egosurgery-HTS、ピクセルごとの注釈を備えた新しいデータセット、およびエゴセントリックのオープンサージェリービデオで手術ツール、ハンド、および相互作用ツールをセグメント化するためのベンチマークスイートを紹介します。
具体的には、（1）14の異なる外科ツールの（2）ハンドインスタンスセグメンテーション、および（3）ハンドツールセグメンテーションのハンドとそれらが操作するツールのセグメンテーションのテーマインスタンスセグメンテーションのラベル付きデータセットを提供します。
Egosurgery-HTSを使用して、最先端のセグメンテーション方法の広範な評価を実施し、既存のデータセットと比較して、エゴセントリックのオープンサージェリービデオのハンドおよびハンドツールセグメンテーションの精度の大幅な改善を示します。
データセットはhttps://github.com/fujiry0/egosurgeryでリリースされます。

要約(オリジナル)

Egocentric open-surgery videos capture rich, fine-grained details essential for accurately modeling surgical procedures and human behavior in the operating room. A detailed, pixel-level understanding of hands and surgical tools is crucial for interpreting a surgeon’s actions and intentions. We introduce EgoSurgery-HTS, a new dataset with pixel-wise annotations and a benchmark suite for segmenting surgical tools, hands, and interacting tools in egocentric open-surgery videos. Specifically, we provide a labeled dataset for (1) tool instance segmentation of 14 distinct surgical tools, (2) hand instance segmentation, and (3) hand-tool segmentation to label hands and the tools they manipulate. Using EgoSurgery-HTS, we conduct extensive evaluations of state-of-the-art segmentation methods and demonstrate significant improvements in the accuracy of hand and hand-tool segmentation in egocentric open-surgery videos compared to existing datasets. The dataset will be released at https://github.com/Fujiry0/EgoSurgery.

arxiv情報

著者 Nathan Darjana,Ryo Fujii,Hideo Saito,Hiroki Kajita
発行日 2025-03-24 15:04:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG | EgoSurgery-HTS: A Dataset for Egocentric Hand-Tool Segmentation in Open Surgery Videos はコメントを受け付けていません

Mechanistic Interpretability of Fine-Tuned Vision Transformers on Distorted Images: Decoding Attention Head Behavior for Transparent and Trustworthy AI

投稿日: 2025年3月25日 作成者: jarxiv

要約

メカニズムの解釈可能性は、大規模なAIモデルの安全性、信頼性、堅牢性を向上させます。
この研究では、非関連コンテンツ（軸ラベル、タイトル、カラーバー）を含む歪んだ2Dスペクトログラム画像で微調整された視覚変圧器（VITS）の個々の注意ヘッドを調べました。
外部の機能を導入することにより、この調査では、変圧器コンポーネントが無関係な情報を処理する方法を分析し、機械的解釈性を使用して問題をデバッグし、トランスアーキテクチャの洞察を明らかにしました。
注意マップは、レイヤー全体で頭の寄与を評価しました。
初期層のヘッド（1〜3）は、AblationがMSE損失をわずかに増加させることで最小限のタスクへの影響を示しました（{\ mu} = 0.11％、{\ sigma} = 0.09％）。
対照的に、より深い頭（例えば、レイヤー6）は、3倍の損失の増加を引き起こしました（{\ mu} = 0.34％、{\ sigma} = 0.02％）。
中間層（6〜11）は、Chirp地域のみに参加する単一態度の行動を示しました。
いくつかの初期の頭（1〜4）は、単一系ではあるが非タスクに関連するものでした（テキスト検出器、エッジまたはコーナー検出器など）。
注意マップは、ポリスマンティックヘッド（複数の無関係な領域）からモノセマンティックヘッド（正確なチャープローカリゼーション）を区別しました。
これらの調査結果は、vitsの機能的専門化を明らかにし、ヘッドが関連する情報と外部情報をどのように処理したかを示しています。
変圧器を解釈可能なコンポーネントに分解することにより、この作業はモデルの理解を強化し、脆弱性を特定し、より安全で、より透明なAIを識別しました。

要約(オリジナル)

Mechanistic interpretability improves the safety, reliability, and robustness of large AI models. This study examined individual attention heads in vision transformers (ViTs) fine tuned on distorted 2D spectrogram images containing non relevant content (axis labels, titles, color bars). By introducing extraneous features, the study analyzed how transformer components processed unrelated information, using mechanistic interpretability to debug issues and reveal insights into transformer architectures. Attention maps assessed head contributions across layers. Heads in early layers (1 to 3) showed minimal task impact with ablation increased MSE loss slightly ({\mu}=0.11%, {\sigma}=0.09%), indicating focus on less critical low level features. In contrast, deeper heads (e.g., layer 6) caused a threefold higher loss increase ({\mu}=0.34%, {\sigma}=0.02%), demonstrating greater task importance. Intermediate layers (6 to 11) exhibited monosemantic behavior, attending exclusively to chirp regions. Some early heads (1 to 4) were monosemantic but non task relevant (e.g. text detectors, edge or corner detectors). Attention maps distinguished monosemantic heads (precise chirp localization) from polysemantic heads (multiple irrelevant regions). These findings revealed functional specialization in ViTs, showing how heads processed relevant vs. extraneous information. By decomposing transformers into interpretable components, this work enhanced model understanding, identified vulnerabilities, and advanced safer, more transparent AI.

arxiv情報

著者 Nooshin Bahador
発行日 2025-03-24 15:11:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Mechanistic Interpretability of Fine-Tuned Vision Transformers on Distorted Images: Decoding Attention Head Behavior for Transparent and Trustworthy AI はコメントを受け付けていません