Advancing climate model interpretability: Feature attribution for Arctic melt anomalies

投稿日: 2025年2月12日 作成者: jarxiv

要約

私たちの仕事の焦点は、気候モデルにおける異常の解釈可能性を改善し、北極の溶融ダイナミクスの理解を向上させることです。
北極および南極の氷床は、急速な表面融解と淡水流出の増加を経験しており、世界の海面上昇に大きく貢献しています。
これらの地域で融雪を駆動するメカニズムを理解することが重要です。
極地気候研究で広く使用されている再分析データセットであるERA5は、広範な気候変数とグローバルデータ同化を提供します。
ただし、その融雪モデルは、表面溶融物の複雑さを単純化する可能性のあるエネルギーの不均衡アプローチを採用しています。
対照的に、氷河のエネルギーと大量バランス（GEMB）モデルには、雪の蓄積、FIRN密度、溶融水の浸透/凍結などの追加の物理的プロセスが組み込まれており、表面融解ダイナミクスのより詳細な表現を提供します。
この研究では、ERA5およびGEMBモデルの異常な溶融イベントの特徴属性を使用して、グリーンランドアイスシートの表面雪解けダイナミクスの分析に焦点を当てています。
ERA5およびGEMBで検出された異常を分析するために、反事実的説明方法を活用する監視されていない属性法を提示します。
我々の異常検出結果は、測定値の接地データを使用して検証され、Xgboost、Shapley値、ランダムフォレストなどの確立された機能ランキング方法に対して帰属が評価されます。
Our attribution framework identifies the physics behind each model and the climate features driving melt anomalies.
これらの発見は、気候モデルにおける異常の解釈可能性を高め、北極溶融物のダイナミクスの理解を向上させる際の属性法の有用性を示しています。

要約(オリジナル)

The focus of our work is improving the interpretability of anomalies in climate models and advancing our understanding of Arctic melt dynamics. The Arctic and Antarctic ice sheets are experiencing rapid surface melting and increased freshwater runoff, contributing significantly to global sea level rise. Understanding the mechanisms driving snowmelt in these regions is crucial. ERA5, a widely used reanalysis dataset in polar climate studies, offers extensive climate variables and global data assimilation. However, its snowmelt model employs an energy imbalance approach that may oversimplify the complexity of surface melt. In contrast, the Glacier Energy and Mass Balance (GEMB) model incorporates additional physical processes, such as snow accumulation, firn densification, and meltwater percolation/refreezing, providing a more detailed representation of surface melt dynamics. In this research, we focus on analyzing surface snowmelt dynamics of the Greenland Ice Sheet using feature attribution for anomalous melt events in ERA5 and GEMB models. We present a novel unsupervised attribution method leveraging counterfactual explanation method to analyze detected anomalies in ERA5 and GEMB. Our anomaly detection results are validated using MEaSUREs ground-truth data, and the attributions are evaluated against established feature ranking methods, including XGBoost, Shapley values, and Random Forest. Our attribution framework identifies the physics behind each model and the climate features driving melt anomalies. These findings demonstrate the utility of our attribution method in enhancing the interpretability of anomalies in climate models and advancing our understanding of Arctic melt dynamics.

arxiv情報

著者 Tolulope Ale,Nicole-Jeanne Schlegel,Vandana P. Janeja
発行日 2025-02-11 18:05:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Advancing climate model interpretability: Feature attribution for Arctic melt anomalies はコメントを受け付けていません

UNSURE: self-supervised learning with Unknown Noise level and Stein’s Unbiased Risk Estimate

投稿日: 2025年2月12日 作成者: jarxiv

要約

最近、画像再構成のための多くの自己監視学習方法が提案されており、騒々しいデータだけから学習して、地上の真実の参照の必要性をバイパスしています。
ほとんどの既存の方法は、2つのクラスを中心にクラスター化します。i）Steinの偏りのないリスク推定（Sure）および騒音分布の完全な知識を仮定する同様のアプローチとii）Noise2自己およびノイズ分布に関する非常に軽度の知識を必要とする同様の交差検証方法。
ノイズレベルは実際のアプリケーションではしばしば不明であるため、最初のクラスのメソッドは非現実的である傾向があり、2番目のクラスは監視された学習と比較してしばしば最適です。
このホワイトペーパーでは、この表現力の強さのトレードオフを特徴付ける理論的枠組みを提供し、Suresに基づいて新しいアプローチを提案しますが、標準とは異なり、ノイズレベルに関する知識は必要ありません。
一連の実験を通して、提案された推定器が、さまざまなイメージングの逆問題に関する他の既存の自己監視方法よりも優れていることを示します。

要約(オリジナル)

Recently, many self-supervised learning methods for image reconstruction have been proposed that can learn from noisy data alone, bypassing the need for ground-truth references. Most existing methods cluster around two classes: i) Stein’s Unbiased Risk Estimate (SURE) and similar approaches that assume full knowledge of the noise distribution, and ii) Noise2Self and similar cross-validation methods that require very mild knowledge about the noise distribution. The first class of methods tends to be impractical, as the noise level is often unknown in real-world applications, and the second class is often suboptimal compared to supervised learning. In this paper, we provide a theoretical framework that characterizes this expressivity-robustness trade-off and propose a new approach based on SURE, but unlike the standard SURE, does not require knowledge about the noise level. Throughout a series of experiments, we show that the proposed estimator outperforms other existing self-supervised methods on various imaging inverse problems.

arxiv情報

著者 Julián Tachella,Mike Davies,Laurent Jacques
発行日 2025-02-11 18:09:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68U10, cs.LG, eess.SP, G.3, stat.ML | UNSURE: self-supervised learning with Unknown Noise level and Stein’s Unbiased Risk Estimate はコメントを受け付けていません

HiPoNet: A Topology-Preserving Multi-View Neural Network For High Dimensional Point Cloud and Single-Cell Data

投稿日: 2025年2月12日 作成者: jarxiv

要約

この論文では、高次元点雲の回帰、分類、および表現学習のためのエンドツーエンドの微分ニューラルネットワークであるHiponetを提案します。
単一セルデータは、3Dデータに合わせてテーラードされた既存のメソッドポイントクラウドの機能を超える高次元を持つことができます。
さらに、最新のシングルセルおよび空間的実験は、現在、データセットのコホート全体（つまり、すべての患者に1つ）を生成し、大規模で高次元のポイント雲を大規模に処理できるモデルを必要とします。
現在のアプローチのほとんどは、重要な幾何学的情報を破棄して、単一の最寄りのneighborグラフを構築します。
対照的に、Hiponetは、学習可能な特徴の再び測定を通じて高次の単純化複合体を形成し、異なる生物学的プロセスを解き放つ複数のデータビューを生成します。
次に、シンプルなウェーブレット変換を使用して、ローカルトポロジとグローバルトポロジの両方をキャプチャするマルチスケール機能を抽出します。
これらのコンポーネントは、学習した表現にトポロジー情報を保存し、Hiponetが最先端のポイントクラウドおよびグラフベースのモデルを単一セル上で大幅に上回ることを経験的に示しています。
また、VIEWの1つとして空間座標を使用して、空間トランスクリプトームデータセットにHiponetの適用を示します。
全体として、Hiponetは、高次元データ分析のための堅牢でスケーラブルなソリューションを提供します。

要約(オリジナル)

In this paper, we propose HiPoNet, an end-to-end differentiable neural network for regression, classification, and representation learning on high-dimensional point clouds. Single-cell data can have high dimensionality exceeding the capabilities of existing methods point cloud tailored for 3D data. Moreover, modern single-cell and spatial experiments now yield entire cohorts of datasets (i.e. one on every patient), necessitating models that can process large, high-dimensional point clouds at scale. Most current approaches build a single nearest-neighbor graph, discarding important geometric information. In contrast, HiPoNet forms higher-order simplicial complexes through learnable feature reweighting, generating multiple data views that disentangle distinct biological processes. It then employs simplicial wavelet transforms to extract multi-scale features – capturing both local and global topology. We empirically show that these components preserve topological information in the learned representations, and that HiPoNet significantly outperforms state-of-the-art point-cloud and graph-based models on single cell. We also show an application of HiPoNet on spatial transcriptomics datasets using spatial co-ordinates as one of the views. Overall, HiPoNet offers a robust and scalable solution for high-dimensional data analysis.

arxiv情報

著者 Siddharth Viswanath,Hiren Madhu,Dhananjay Bhaskar,Jake Kovalic,Dave Johnson,Rex Ying,Christopher Tape,Ian Adelstein,Michael Perlmutter,Smita Krishnaswamy
発行日 2025-02-11 18:13:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.AT | HiPoNet: A Topology-Preserving Multi-View Neural Network For High Dimensional Point Cloud and Single-Cell Data はコメントを受け付けていません

An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning

投稿日: 2025年2月12日 作成者: jarxiv

要約

新しいタスクまたはドメインでの基礎モデルを段階的に微調整することは、NLPでの事実上のアプローチです。
このアプローチの既知の落とし穴は、微調整中に起こる事前知識の\ emph {壊滅的な忘却}です。
そのような忘却を軽減するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることです。
いくつかの既存の作業は、バッファからリハーサルの例を選択するために、モデルを手元に置いた推論（前方パス）に依存しながら、以前のタスクの例を保存するための固定メモリバッファーを想定しています。
ただし、モデル推論の計算コストの増加とデータストレージのコストの削減を考えると、固定メモリ予算の代わりに固定計算予算でサンプルをリハーサルする設定に焦点を当てます。
サンプリングスキーム、\ texttt {\ bf mix-cd}を提案します。これは、「副次的損傷」サンプルのリハーサルを優先します。これは、以前のモデルによって正しく予測されたサンプルですが、段階的に調整されたものによって忘れられます。
私たちのスキームの核心は、追加のモデル推論を発生させることなく、担保損傷サンプルの密度を効率的に推定する手順です。
私たちのアプローチは、計算効率が良く、実装が簡単であり、計算制限設定でいくつかの主要な継続的な学習方法を上回ります。
すべてのコードは、https://github.com/jybai/mix-cd-rehearsalで公開されます。

要約(オリジナル)

Incrementally fine-tuning foundational models on new tasks or domains is now the de facto approach in NLP. A known pitfall of this approach is the \emph{catastrophic forgetting} of prior knowledge that happens during fine-tuning. A common approach to alleviate such forgetting is to rehearse samples from prior tasks during fine-tuning. Several existing works assume a fixed memory buffer to store prior task examples, while relying on inferences (forward passes) with the model at hand for choosing examples for rehearsal from the buffer. However, given the increasing computational cost of model inference, and decreasing cost of data storage, we focus on the setting to rehearse samples with a fixed computational budget instead of a fixed memory budget. We propose a sampling scheme, \texttt{\bf mix-cd}, that prioritizes rehearsal of “collateral damage” samples, which are samples predicted correctly by the prior model but forgotten by the incrementally tuned one. The crux of our scheme is a procedure to efficiently estimate the density of collateral damage samples without incurring additional model inferences. Our approach is computationally efficient, easy to implement, and outperforms several leading continual learning methods in compute-constrained settings. All the code will be publicly available at https://github.com/jybai/mix-cd-rehearsal.

arxiv情報

著者 Andrew Bai,Chih-Kuan Yeh,Cho-Jui Hsieh,Ankur Taly
発行日 2025-02-11 18:25:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning はコメントを受け付けていません

Whole-Genome Phenotype Prediction with Machine Learning: Open Problems in Bacterial Genomics

投稿日: 2025年2月12日 作成者: jarxiv

要約

細菌特性を支配する因果遺伝的メカニズムをどのように識別できますか？
遺伝子型から表現型を予測するタスクを処理するために機械学習モデルに委託された最初の努力は、高精度スコアを返します。
ただし、予測モデルから意味を抽出しようとする試みは、誤って特定された「因果関係」の特徴によって破損していることがわかります。
パターン認識と相関のみに依存することは信頼できず、高次元性と偽の関連が標準である細菌ゲノミクスの設定ではかなり重要です。
このハードルを克服できるかどうかはまだ明確ではありませんが、潜在的な高リスクの細菌の遺伝的変異を発見するために多大な努力が払われています。
これを考慮して、細菌の全ゲノムデータセットからの表現型の予測を取り巻くオープンな問題を設定し、それらを学習因果効果に拡張し、この性質のデータセットに直面したときにマシンの意思決定の信頼性に影響を与える課題について議論します。

要約(オリジナル)

How can we identify causal genetic mechanisms that govern bacterial traits? Initial efforts entrusting machine learning models to handle the task of predicting phenotype from genotype return high accuracy scores. However, attempts to extract any meaning from the predictive models are found to be corrupted by falsely identified ‘causal’ features. Relying solely on pattern recognition and correlations is unreliable, significantly so in bacterial genomics settings where high-dimensionality and spurious associations are the norm. Though it is not yet clear whether we can overcome this hurdle, significant efforts are being made towards discovering potential high-risk bacterial genetic variants. In view of this, we set up open problems surrounding phenotype prediction from bacterial whole-genome datasets and extending those to learning causal effects, and discuss challenges that impact the reliability of a machine’s decision-making when faced with datasets of this nature.

arxiv情報

著者 Tamsin James,Ben Williamson,Peter Tino,Nicole Wheeler
発行日 2025-02-11 18:25:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.GN | Whole-Genome Phenotype Prediction with Machine Learning: Open Problems in Bacterial Genomics はコメントを受け付けていません

Scalable Fingerprinting of Large Language Models

投稿日: 2025年2月12日 作成者: jarxiv

要約

モデルの指紋は、モデル所有者がAPIアクセスを与えられた共有モデルを識別するための強力なツールとして浮上しています。
ただし、誤った発見率を下げるために、フィンガープリントの漏れと戦い、検出をバイパスしようとするモデルユーザーの連合を防御するために、{\ em scalability}が重要であると主張します。
したがって、フィンガープリントスキームの重要な要件としてスケーラビリティを促進します。
以前に考慮されたよりも大幅に大きいスケールで指紋設計を実験し、スケーラブル、持続性、無害な指紋を生成するために、ペリヌクレウスサンプリングと呼ばれる新しい方法を導入します。
このスキームは、モデルの有用性を低下させることなく、24,576個の指紋をLlama-3.1-8Bモデル（既存のスキームよりも2桁多い）に追加できることを実証します。
挿入された指紋は、標準的なトレーニング後のデータで監視された微調整後も持続します。
さらに、フィンガープリントのセキュリティリスクに対処し、理論的にも経験的にも、私たちのようなスケーラブルなフィンガープリントスキームがこれらのリスクをどのように軽減できるかを示します。

要約(オリジナル)

Model fingerprinting has emerged as a powerful tool for model owners to identify their shared model given API access. However, to lower false discovery rate, fight fingerprint leakage, and defend against coalitions of model users attempting to bypass detection, we argue that {\em scalability} is critical, i.e., scaling up the number of fingerprints one can embed into a model. Hence, we pose scalability as a crucial requirement for fingerprinting schemes. We experiment with fingerprint design at a scale significantly larger than previously considered, and introduce a new method, dubbed Perinucleus sampling, to generate scalable, persistent, and harmless fingerprints. We demonstrate that this scheme can add 24,576 fingerprints to a Llama-3.1-8B model — two orders of magnitude more than existing schemes — without degrading the model’s utility. Our inserted fingerprints persist even after supervised fine-tuning on standard post-training data. We further address security risks for fingerprinting, and theoretically and empirically show how a scalable fingerprinting scheme like ours can mitigate these risks.

arxiv情報

著者 Anshul Nasery,Jonathan Hayase,Creston Brooks,Peiyao Sheng,Himanshu Tyagi,Pramod Viswanath,Sewoong Oh
発行日 2025-02-11 18:43:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | Scalable Fingerprinting of Large Language Models はコメントを受け付けていません

Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models

投稿日: 2025年2月12日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の効率的な実世界の展開は、長い出力を処理および生成するためにキー価値（kV）キャッシングに依存しており、繰り返し計算の必要性を減らします。
大きなコンテキストの場合、キー価値のキャッシュは、各トークンとレイヤーのベクトル表現を保存するため、デバイスメモリのギガバイトを数十ギガバイトにすることができます。
最近の研究では、キャッシュされたベクトルが量子化、剪定、またはマージによって圧縮される可能性があることが示されていますが、これらの手法はしばしばより高い圧縮速度に向けて質を損ないます。
この作業では、2つの観察結果を活用することにより、キーと値の圧縮を改善することを目指しています。1）キーと異なるレイヤーの値の固有の依存関係、および2）内部ネットワーク状態の高圧縮メカニズム。
Aqua-KVは、キーと値の間の既存の依存関係を活用するためにコンパクトアダプターに依存するキー価値キャッシュの適応量子化であり、予測できない情報を「最適に」圧縮することを目的としています。
Aqua-KVは、最先端のLLMファミリーの高精度を維持しながら、圧縮率を大幅に改善します。
LLAMA 3.2 LLMSでは、1ドル未満の値あたり2〜2.5ビットでほぼ紛れもない推論を達成し、困惑とロングベンチスコアで$ 1 \％$の相対エラーを達成しています。
Aqua-KVは、ワンショット、シンプル、効率的です。70Bモデルであっても、1〜6時間以内に1つのGPUで調整できます。

要約(オリジナル)

Efficient real-world deployments of large language models (LLMs) rely on Key-Value (KV) caching for processing and generating long outputs, reducing the need for repetitive computation. For large contexts, Key-Value caches can take up tens of gigabytes of device memory, as they store vector representations for each token and layer. Recent work has shown that the cached vectors can be compressed through quantization, pruning or merging, but these techniques often compromise quality towards higher compression rates. In this work, we aim to improve Key & Value compression by exploiting two observations: 1) the inherent dependencies between keys and values across different layers, and 2) high-compression mechanisms for internal network states. We propose AQUA-KV, an adaptive quantization for Key-Value caches that relies on compact adapters to exploit existing dependencies between Keys and Values, and aims to ‘optimally’ compress the information that cannot be predicted. AQUA-KV significantly improves compression rates, while maintaining high accuracy on state-of-the-art LLM families. On Llama 3.2 LLMs, we achieve near-lossless inference at 2-2.5 bits per value with under $1\%$ relative error in perplexity and LongBench scores. AQUA-KV is one-shot, simple, and efficient: it can be calibrated on a single GPU within 1-6 hours, even for 70B models.

arxiv情報

著者 Alina Shutova,Vladimir Malinovskii,Vage Egiazarian,Denis Kuznedelev,Denis Mazur,Nikita Surkov,Ivan Ermakov,Dan Alistarh
発行日 2025-02-11 18:45:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models はコメントを受け付けていません

Optimistic Interior Point Methods for Sequential Hypothesis Testing by Betting

投稿日: 2025年2月12日 作成者: jarxiv

要約

「ベットによるテスト」の手法は、ノンパラメトリックのシーケンシャル仮説テストを複数ラウンドゲームとしてフレーム化します。プレイヤーは、ストリーミング方法で到着する将来の観察に賭けられ、帰無仮説に対する証拠を定量化する富を蓄積し、nullを拒否する富を蓄積します。
富は、偽陽性誤差を制御しながら、指定されたしきい値を超えています。
ゲームで少し後悔を達成するオンライン学習アルゴリズムを設計することは、ベッターの富を迅速に蓄積するのに役立ちます。
ただし、既存の作業の多くは、オンラインニュートンステップ（ONS）を採用して、急速な富の蓄積のために潜在的に保守的である勾配爆発の問題を回避するために、半分の決定スペース内で更新されます。
この論文では、勾配爆発のリスクなしに決定空間の内部全体に更新を可能にする最適化のインテリアポイント方法を利用する新しい戦略を紹介します。
私たちのアプローチは、強力な統計的保証を維持するだけでなく、重要なシナリオでのより速い帰無仮説の拒絶を促進し、既存のアプローチの限界を克服します。

要約(オリジナル)

The technique of ‘testing by betting’ frames nonparametric sequential hypothesis testing as a multiple-round game, where a player bets on future observations that arrive in a streaming fashion, accumulates wealth that quantifies evidence against the null hypothesis, and rejects the null once the wealth exceeds a specified threshold while controlling the false positive error. Designing an online learning algorithm that achieves a small regret in the game can help rapidly accumulate the bettor’s wealth, which in turn can shorten the time to reject the null hypothesis under the alternative $H_1$. However, many of the existing works employ the Online Newton Step (ONS) to update within a halved decision space to avoid a gradient explosion issue, which is potentially conservative for rapid wealth accumulation. In this paper, we introduce a novel strategy utilizing interior-point methods in optimization that allows updates across the entire interior of the decision space without the risk of gradient explosion. Our approach not only maintains strong statistical guarantees but also facilitates faster null hypothesis rejection in critical scenarios, overcoming the limitations of existing approaches.

arxiv情報

著者 Can Chen,Jun-Kun Wang
発行日 2025-02-11 18:57:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Optimistic Interior Point Methods for Sequential Hypothesis Testing by Betting はコメントを受け付けていません

Curvature Tuning: Provable Training-free Model Steering From a Single Parameter

投稿日: 2025年2月12日 作成者: jarxiv

要約

モデルサイズとデータサイズのスケーリングにより、AIのパラダイムが再構築されました。
その結果、最新のモデルを活用する一般的なプロトコルは、{\ em微調整}を通じて特定の目的のタスクに向かってそれらを導くことです。
その重要性にもかかわらず、微調整の主な方法は、フルランクアダプターまたは低いランクアダプターに限定されたままです。数え切れないほどのハイパーパラメーターと解釈可能性が不足しています。
この論文では、一歩後退し、最近開発されたディープネットワークの豊富な数学的フレーミングである{\ em spline演算子}から理論的に導き出すことができる斬新で説明可能なトレーニング後のステアリングソリューションを実証します。
私たちの方法 – Coined \ textBf {曲率チューニング（CT）} – は、トレーニングのないステアリングを可能にするモデルの決定境界の曲率を証明する単一のパラメーターを持っています。
これにより、CTは、従来の微調整方法よりも効率的で解釈可能になります。
私たちは、前提条件のモデルの一般化と堅牢性を改善する上でのその有効性を経験的に検証します。
たとえば、CTは、17のダウンストリームデータセットにわたってResNet-18/50の分散除外転送パフォーマンスを2.57 \％/1.74 \％改善し、堅牢なベンチの堅牢な精度を11.76 \％/348.44 \％に改善します。
さらに、CTをReluベースのSWIN-T/sに適用し、9つのダウンストリームデータセットでの一般化を2.43 \％/3.33 \％で改善します。
私たちのコードは、\ href {https://github.com/leon-leyang/curvature-tuning} {https://github.com/leon-leyang/curvature-tuningで入手できます。

要約(オリジナル)

The scaling of model size and data size has reshaped the paradigm of AI. As a result, the common protocol to leverage the latest models is to steer them towards a specific downstream task of interest through {\em fine-tuning}. Despite its importance, the main methods for fine-tuning remain limited to full or low-rank adapters–containing countless hyper-parameters and lacking interpretability. In this paper, we take a step back and demonstrate how novel and explainable post-training steering solutions can be derived theoretically from {\em spline operators}, a rich mathematical framing of Deep Networks that was recently developed. Our method–coined \textbf{Curvature Tuning (CT)}–has a single parameter that provably modulates the curvature of the model’s decision boundary henceforth allowing training-free steering. This makes CT both more efficient and interpretable than conventional fine-tuning methods. We empirically validate its effectiveness in improving generalization and robustness of pretrained models. For example, CT improves out-of-distribution transfer performances of ResNet-18/50 by 2.57\%/1.74\% across seventeen downstream datasets, and improves RobustBench robust accuracy by 11.76\%/348.44\%. Additionally, we apply CT to ReLU-based Swin-T/S, improving their generalization on nine downstream datasets by 2.43\%/3.33\%. Our code is available at \href{https://github.com/Leon-Leyang/curvature-tuning}{https://github.com/Leon-Leyang/curvature-tuning}.

arxiv情報

著者 Leyang Hu,Randall Balestriero
発行日 2025-02-11 18:59:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Curvature Tuning: Provable Training-free Model Steering From a Single Parameter はコメントを受け付けていません

Unsupervised Translation of Emergent Communication

投稿日: 2025年2月12日 作成者: jarxiv

要約

Emergent Communication（EC）は、エージェントが共有目標を共同で達成するように訓練されたときに自律的に出現する言語システムへのユニークなウィンドウを提供します。
ただし、ECを解釈し、自然言語（NL）との関係を評価することは困難です。
この研究では、環境のセマンティック多様性の影響を受けて、さまざまなタスクの複雑さを備えた参照ゲーム中に形成されたECSを解読するために、監視されていない神経機械翻訳（UNMT）技術を採用しています。
我々の調査結果は、ECを翻訳するUNMTの可能性を示しており、セマンティックの多様性を特徴とするタスクの複雑さがECの翻訳性を高めることを示していますが、制約されたセマンティック変動性とのより高いタスクの複雑さは、解釈が困難ですが、翻訳に適したままであることを示します。
この研究は、並行データの助けなしにECを翻訳するための最初の試みを知ることをマークします。

要約(オリジナル)

Emergent Communication (EC) provides a unique window into the language systems that emerge autonomously when agents are trained to jointly achieve shared goals. However, it is difficult to interpret EC and evaluate its relationship with natural languages (NL). This study employs unsupervised neural machine translation (UNMT) techniques to decipher ECs formed during referential games with varying task complexities, influenced by the semantic diversity of the environment. Our findings demonstrate UNMT’s potential to translate EC, illustrating that task complexity characterized by semantic diversity enhances EC translatability, while higher task complexity with constrained semantic variability exhibits pragmatic EC, which, although challenging to interpret, remains suitable for translation. This research marks the first attempt, to our knowledge, to translate EC without the aid of parallel data.

arxiv情報

著者 Ido Levy,Orr Paradise,Boaz Carmeli,Ron Meir,Shafi Goldwasser,Yonatan Belinkov
発行日 2025-02-11 13:41:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Unsupervised Translation of Emergent Communication はコメントを受け付けていません