UoR-NCL at SemEval-2025 Task 1: Using Generative LLMs and CLIP Models for Multilingual Multimodal Idiomaticity Representation

投稿日: 2025年3月7日 作成者: jarxiv

要約

Semeval-2025タスク1は、英語とブラジルのポルトガル語の両方で慣用的な意味を持つ可能性のある特定の公称化合物とのアラインメントに基づいて、ランキング画像に焦点を当てています。
この課題に対処するために、この作業では、生成的な大規模な言語モデル（LLMS）と多言語のクリップモデルを使用して、慣用化複合表現を強化します。
LLMは、潜在的に慣用的な化合物に対して慣用的な意味を生成し、セマンティックな解釈を豊かにします。
これらの意味は、多言語クリップモデルを使用してエンコードされ、画像ランキングの表現として機能します。
対照的な学習とデータ増強技術が適用され、これらの埋め込みを微調整してパフォーマンスを向上させます。
実験結果は、この方法を通じて抽出されたマルチモーダル表現が、元の公称化合物のみに基づいたものよりも優れていることを示しています。
微調整アプローチは有望な結果を示しますが、微調整せずに埋め込みを使用するよりも効果が低いです。
このペーパーで使用されているソースコードは、https：//github.com/tongwu17/semeval-2025-task1-uor-nclで入手できます。

要約(オリジナル)

SemEval-2025 Task 1 focuses on ranking images based on their alignment with a given nominal compound that may carry idiomatic meaning in both English and Brazilian Portuguese. To address this challenge, this work uses generative large language models (LLMs) and multilingual CLIP models to enhance idiomatic compound representations. LLMs generate idiomatic meanings for potentially idiomatic compounds, enriching their semantic interpretation. These meanings are then encoded using multilingual CLIP models, serving as representations for image ranking. Contrastive learning and data augmentation techniques are applied to fine-tune these embeddings for improved performance. Experimental results show that multimodal representations extracted through this method outperformed those based solely on the original nominal compounds. The fine-tuning approach shows promising outcomes but is less effective than using embeddings without fine-tuning. The source code used in this paper is available at https://github.com/tongwu17/SemEval-2025-Task1-UoR-NCL.

arxiv情報

著者 Thanet Markchom,Tong Wu,Liting Huang,Huizhi Liang
発行日 2025-03-06 15:36:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | UoR-NCL at SemEval-2025 Task 1: Using Generative LLMs and CLIP Models for Multilingual Multimodal Idiomaticity Representation はコメントを受け付けていません

Graph Neural Networks for Virtual Sensing in Complex Systems: Addressing Heterogeneous Temporal Dynamics

投稿日: 2025年3月7日 作成者: jarxiv

要約

複雑なシステムの信頼性が高く効率的な動作には、リアルタイムの状態監視が重要です。
ただし、物理センサーのみに依存することは、コスト、配置の制約、または特定の重要なパラメーターを直接測定できないために制限される場合があります。
仮想センシングは、容易に利用可能なセンサーデータとシステムの知識を活用して、アクセスできないパラメーターを推定するか、システム状態を推測することにより、これらの制限に対処します。
産業システムの複雑さの増加は、システム状態の包括的な理解を提供するために、多様なモダリティを備えたセンサーの展開を必要とします。
これらのセンサーは、さまざまな周波数でデータをキャプチャして、システムのローカルおよびグローバルな状態の進化と同様に、迅速およびゆっくりと変化するシステムダイナミクスの両方を監視します。
これは、特にさまざまな運用上の環境条件下で、正確な仮想センシングに大きな課題をもたらす異種の時間的ダイナミクスにつながります。
これに対処するために、不均一な時間グラフニューラルネットワーク（HTGNN）フレームワークを提案します。
HTGNNは、多様なセンサーからの信号を明示的にモデル化し、動作条件をモデルアーキテクチャに統合します。
2つの新しくリリースされたデータセットを使用してHTGNNを評価します。負荷予測のための多様な負荷条件を備えたベアリングデータセットと、ブリッジライブ負荷を予測するための1年間のシミュレーションデータセットです。
我々の結果は、HTGNNが両方のタスクで、特に非常にさまざまな動作条件下で確立されたベースラインメソッドを大幅に上回ることを示しています。
これらの結果は、複雑なシステムの堅牢で正確な仮想センシングアプローチとしてのHTGNNの可能性を強調し、監視の改善、予測的メンテナンス、システムパフォーマンスの向上への道を開いています。
私たちのコードとデータは、https：//github.com/epfl-imos/htgnnで入手できます。

要約(オリジナル)

Real-time condition monitoring is crucial for the reliable and efficient operation of complex systems. However, relying solely on physical sensors can be limited due to their cost, placement constraints, or inability to directly measure certain critical parameters. Virtual sensing addresses these limitations by leveraging readily available sensor data and system knowledge to estimate inaccessible parameters or infer system states. The increasing complexity of industrial systems necessitates deployments of sensors with diverse modalities to provide a comprehensive understanding of system states. These sensors capture data at varying frequencies to monitor both rapid and slowly varying system dynamics, as well as local and global state evolutions of the systems. This leads to heterogeneous temporal dynamics, which, particularly under varying operational end environmental conditions, pose a significant challenge for accurate virtual sensing. To address this, we propose a Heterogeneous Temporal Graph Neural Network (HTGNN) framework. HTGNN explicitly models signals from diverse sensors and integrates operating conditions into the model architecture. We evaluate HTGNN using two newly released datasets: a bearing dataset with diverse load conditions for bearing load prediction and a year-long simulated dataset for predicting bridge live loads. Our results demonstrate that HTGNN significantly outperforms established baseline methods in both tasks, particularly under highly varying operating conditions. These results highlight HTGNN’s potential as a robust and accurate virtual sensing approach for complex systems, paving the way for improved monitoring, predictive maintenance, and enhanced system performance. Our code and data are available under https://github.com/EPFL-IMOS/htgnn.

arxiv情報

著者 Mengjie Zhao,Cees Taal,Stephan Baggerohr,Olga Fink
発行日 2025-03-06 15:47:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CE, cs.LG | Graph Neural Networks for Virtual Sensing in Complex Systems: Addressing Heterogeneous Temporal Dynamics はコメントを受け付けていません

Compositional Causal Reasoning Evaluation in Language Models

投稿日: 2025年3月7日 作成者: jarxiv

要約

因果的推論と構成の推論は、生成AIの2つの中核となる願望です。
これらの動作の範囲を測定するには、原則的な評価方法が必要です。
両方の動作を同時に考慮し、組成因果推論（CCR）と呼ぶ統一された視点を探ります：因果測定がどのように構成するか、同等に、グラフを介してどのように因果量が伝播するかを推測する能力。
平均的な治療効果と必要性と十分性の確率について、CCRの体系的な評価のためのフレームワークを瞬時に導きます。
概念実証として、ラマ、PHI、およびGPTファミリの言語モデルのCCRタスクの設計を実証します。
数学の単語の問題では、私たちのフレームワークは、分類学的に異なるエラーパターンの範囲を明らかにしました。
さらに、CCRエラーは、O1を除くすべてのモデルの因果経路の複雑さとともに増加しました。

要約(オリジナル)

Causal reasoning and compositional reasoning are two core aspirations in generative AI. Measuring the extent of these behaviors requires principled evaluation methods. We explore a unified perspective that considers both behaviors simultaneously, termed compositional causal reasoning (CCR): the ability to infer how causal measures compose and, equivalently, how causal quantities propagate through graphs. We instantiate a framework for the systematic evaluation of CCR for the average treatment effect and the probability of necessity and sufficiency. As proof of concept, we demonstrate the design of CCR tasks for language models in the LLama, Phi, and GPT families. On a math word problem, our framework revealed a range of taxonomically distinct error patterns. Additionally, CCR errors increased with the complexity of causal paths for all models except o1.

arxiv情報

著者 Jacqueline R. M. A. Maasch,Alihan Hüyük,Xinnuo Xu,Aditya V. Nori,Javier Gonzalez
発行日 2025-03-06 15:47:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Compositional Causal Reasoning Evaluation in Language Models はコメントを受け付けていません

Beyond Single Concept Vector: Modeling Concept Subspace in LLMs with Gaussian Distribution

投稿日: 2025年3月7日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）で学習した概念を調査することは、セマンティック知識が内部でエンコードされる方法を理解するために重要です。
プロービングタスクに関する線形分類器のトレーニングは、表現空間の特定の概念のベクトルを示す主要なアプローチです。
ただし、概念に対して特定された単一のベクトルは、データとトレーニングの両方によって異なり、堅牢性が低下し、実際のアプリケーションでの有効性が弱まります。
この課題に対処するために、特定の概念を表す部分空間を近似するアプローチを提案します。
線形プロービング分類子の上に構築され、概念ベクトルをガウスコンセプトサブスペース（GCS）に拡張します。
さまざまなサイズとアーキテクチャを持つ複数のLLMにわたる忠実さと妥当性を測定することにより、GCSの有効性を実証します。
さらに、表現介入タスクを使用して、感情ステアリングなどの実際のアプリケーションでの有効性を紹介します。
実験結果は、GCSの概念ベクトルがステアリングパフォーマンスのバランスをとり、自然言語生成タスクの流ency性を維持する可能性があることを示しています。

要約(オリジナル)

Probing learned concepts in large language models (LLMs) is crucial for understanding how semantic knowledge is encoded internally. Training linear classifiers on probing tasks is a principle approach to denote the vector of a certain concept in the representation space. However, the single vector identified for a concept varies with both data and training, making it less robust and weakening its effectiveness in real-world applications. To address this challenge, we propose an approach to approximate the subspace representing a specific concept. Built on linear probing classifiers, we extend the concept vectors into Gaussian Concept Subspace (GCS). We demonstrate GCS’s effectiveness through measuring its faithfulness and plausibility across multiple LLMs with different sizes and architectures. Additionally, we use representation intervention tasks to showcase its efficacy in real-world applications such as emotion steering. Experimental results indicate that GCS concept vectors have the potential to balance steering performance and maintaining the fluency in natural language generation tasks.

arxiv情報

著者 Haiyan Zhao,Heng Zhao,Bo Shen,Ali Payani,Fan Yang,Mengnan Du
発行日 2025-03-06 15:50:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Beyond Single Concept Vector: Modeling Concept Subspace in LLMs with Gaussian Distribution はコメントを受け付けていません

Fundamental Limits of Hierarchical Secure Aggregation with Cyclic User Association

投稿日: 2025年3月7日 作成者: jarxiv

要約

セキュアな集約は、クラウドサーバーが多数のクライアントのローカル訓練を受けたモデルの平均モデル（つまり、深いニューラルネットワークの重み）を計算することを目的としている連合学習（FL）によって動機付けられています。
階層セキュア集約（HSA）は、この概念を3層ネットワークに拡張し、クラスター化されたユーザーが中間層のリレーを介してサーバーと通信します。
HSAでは、従来のサーバーセキュリティを超えて、リレーセキュリティは、リレーがユーザーの入力（フロリダ州のローカルモデルの抽象化）を忘れないようにするために実施されています。
HSAに関する既存の調査では、各ユーザーは1つのリレーのみに関連付けられていると想定しており、クラスター間ユーザー全体でコーディングの機会を制限して、効率的なコミュニケーションとキー生成を達成しています。
このホワイトペーパーでは、各ユーザーがラップアラウンドの方法で$ b $のリレーに接続されている周期的な関連性パターンを備えたHSAを検討します。
Gradient Codingに触発された入力のメッセージデザインを含む効率的な集約スキームを提案します。非常に重要でないセキュリティキーデザインを備えた分散コンピューティングにおける効率的な通信のための有名な技術です。
また、情報の理論的議論を使用して、最小限の達成可能なコミュニケーションとキーレートに関する新しい逆境を導き出します。

要約(オリジナル)

Secure aggregation is motivated by federated learning (FL) where a cloud server aims to compute an averaged model (i.e., weights of deep neural networks) of the locally-trained models of numerous clients, while adhering to data security requirements. Hierarchical secure aggregation (HSA) extends this concept to a three-layer network, where clustered users communicate with the server through an intermediate layer of relays. In HSA, beyond conventional server security, relay security is also enforced to ensure that the relays remain oblivious to the users’ inputs (an abstraction of the local models in FL). Existing study on HSA assumes that each user is associated with only one relay, limiting opportunities for coding across inter-cluster users to achieve efficient communication and key generation. In this paper, we consider HSA with a cyclic association pattern where each user is connected to $B$ consecutive relays in a wrap-around manner. We propose an efficient aggregation scheme which includes a message design for the inputs inspired by gradient coding-a well-known technique for efficient communication in distributed computing-along with a highly nontrivial security key design. We also derive novel converse bounds on the minimum achievable communication and key rates using information-theoretic arguments.

arxiv情報

著者 Xiang Zhang,Zhou Li,Kai Wan,Hua Sun,Mingyue Ji,Giuseppe Caire
発行日 2025-03-06 15:53:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR, cs.DC, cs.IT, math.IT | Fundamental Limits of Hierarchical Secure Aggregation with Cyclic User Association はコメントを受け付けていません

ValuePilot: A Two-Phase Framework for Value-Driven Decision-Making

投稿日: 2025年3月7日 作成者: jarxiv

要約

人工知能（AI）の最近の進歩にもかかわらず、トレーニングデータセットでは考慮されていないタスクでパーソナライズされた意思決定を確保することは課題をもたらします。
この問題に対処するために、データセット生成ツールキットDGTと生成されたデータでトレーニングされた意思決定モジュールDMMを含む2フェーズバリュー駆動型の意思決定フレームワークであるValuePilotを提案します。
DGTは、値の寸法に基づいてシナリオを生成し、自動化されたフィルタリング手法と人間のキュレーションを使用して、データセットの有効性を確保するための人間のキュレーションを備えたシナリオを生成できます。
生成されたデータセットでは、DMMはシナリオの固有の値を認識し、アクションの実現可能性を計算し、複数の値ディメンション間のトレードオフをナビゲートしてパーソナライズされた決定を下すことを学びます。
広範な実験は、人間の価値の好みを考えると、DMMが人間の決定と最も密接に整合し、Claude-3.5-Sonnet、Gemini-2-Flash、llama-3.1-405b、およびGPT-4oを上回ることを示しています。
この研究は、価値駆動型の意思決定の予備的な調査です。
私たちは、コミュニティ内での価値主導の意思決定とパーソナライズされた意思決定への関心を刺激することを願っています。

要約(オリジナル)

Despite recent advances in artificial intelligence (AI), it poses challenges to ensure personalized decision-making in tasks that are not considered in training datasets. To address this issue, we propose ValuePilot, a two-phase value-driven decision-making framework comprising a dataset generation toolkit DGT and a decision-making module DMM trained on the generated data. DGT is capable of generating scenarios based on value dimensions and closely mirroring real-world tasks, with automated filtering techniques and human curation to ensure the validity of the dataset. In the generated dataset, DMM learns to recognize the inherent values of scenarios, computes action feasibility and navigates the trade-offs between multiple value dimensions to make personalized decisions. Extensive experiments demonstrate that, given human value preferences, our DMM most closely aligns with human decisions, outperforming Claude-3.5-Sonnet, Gemini-2-flash, Llama-3.1-405b and GPT-4o. This research is a preliminary exploration of value-driven decision-making. We hope it will stimulate interest in value-driven decision-making and personalized decision-making within the community.

arxiv情報

著者 Yitong Luo,Hou Hei Lam,Ziang Chen,Zhenliang Zhang,Xue Feng
発行日 2025-03-06 16:02:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | ValuePilot: A Two-Phase Framework for Value-Driven Decision-Making はコメントを受け付けていません

$\texttt{SEM-CTRL}$: Semantically Controlled Decoding

投稿日: 2025年3月7日 作成者: jarxiv

要約

大規模な言語モデル（LLM）出力での構文と意味の両方の正確性を確保することは、実際の展開に重要であるにもかかわらず、依然として重要な課題です。
この論文では、LLMデコーダーに直接直接コンテキストに敏感な制約とタスクおよびインスタンス固有のセマンティクスを強制する統合されたアプローチである$ \ texttt {sem-ctrl} $を紹介します。
当社のアプローチは、特定の構文およびセマンティックの制約によって導かれるトークンレベルのMCTを統合します。
目的の出力に対する制約は、回答セットの文法を使用して表されます。これは、タスク固有のセマンティクスを表すために背景知識を組み込みながら、コンテキストに敏感な文法を一般化する論理ベースの形式主義です。
私たちのアプローチは、微調整を必要とせずに、あらゆる既製のLLMの正しい完了を保証することを示しています。
合成文法合成、組み合わせの推論、計画など、さまざまなタスクで$ \ texttt {sem-ctrl} $を評価します。
我々の結果は、$ \ texttt {sem-ctrl} $により、小さな訓練を受けたLLMがより大きなバリエーションと最先端の推論モデル（O1-previewなど）を効率的に上回ることができると同時に、ソリューションの正しさを保証することができることを示しています。

要約(オリジナル)

Ensuring both syntactic and semantic correctness in Large Language Model (LLM) outputs remains a significant challenge, despite being critical for real-world deployment. In this paper, we introduce $\texttt{SEM-CTRL}$, a unified approach that enforces rich context-sensitive constraints and task- and instance-specific semantics directly on an LLM decoder. Our approach integrates token-level MCTS, which is guided by specific syntactic and semantic constraints. The constraints over the desired outputs are expressed using Answer Set Grammars — a logic-based formalism that generalizes context-sensitive grammars while incorporating background knowledge to represent task-specific semantics. We show that our approach guarantees correct completions for any off-the-shelf LLM without the need for fine-tuning. We evaluate $\texttt{SEM-CTRL}$ on a range of tasks, including synthetic grammar synthesis, combinatorial reasoning, and planning. Our results demonstrate that $\texttt{SEM-CTRL}$ allows small pre-trained LLMs to efficiently outperform larger variants and state-of-the-art reasoning models (e.g., o1-preview) while simultaneously guaranteeing solution correctness.

arxiv情報

著者 Mohammad Albinhassan,Pranava Madhyastha,Alessandra Russo
発行日 2025-03-06 16:07:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | $\texttt{SEM-CTRL}$: Semantically Controlled Decoding はコメントを受け付けていません

Protein Large Language Models: A Comprehensive Survey

投稿日: 2025年3月7日 作成者: jarxiv

要約

タンパク質固有の大手言語モデル（タンパク質LLM）は、より効率的なタンパク質構造の予測、機能注釈、および設計を可能にすることにより、タンパク質科学に革命をもたらしています。
既存の調査は特定の側面またはアプリケーションに焦点を当てていますが、この作業は、タンパク質LLMSの最初の包括的な概要を提供し、アーキテクチャ、トレーニングデータセット、評価メトリック、および多様なアプリケーションをカバーしています。
100を超える記事の体系的な分析を通じて、最先端のタンパク質LLMの構造化された分類法を提案し、精度を改善するために大規模なタンパク質シーケンスデータを活用する方法を分析し、タンパク質工学と生物医学研究の進歩における可能性を調査します。
さらに、重要な課題と将来の方向性について説明し、タンパク質LLMSをタンパク質科学における科学的発見のための不可欠なツールとして配置します。
リソースはhttps://github.com/yijia-xiao/protein-llm-surveyで維持されます。

要約(オリジナル)

Protein-specific large language models (Protein LLMs) are revolutionizing protein science by enabling more efficient protein structure prediction, function annotation, and design. While existing surveys focus on specific aspects or applications, this work provides the first comprehensive overview of Protein LLMs, covering their architectures, training datasets, evaluation metrics, and diverse applications. Through a systematic analysis of over 100 articles, we propose a structured taxonomy of state-of-the-art Protein LLMs, analyze how they leverage large-scale protein sequence data for improved accuracy, and explore their potential in advancing protein engineering and biomedical research. Additionally, we discuss key challenges and future directions, positioning Protein LLMs as essential tools for scientific discovery in protein science. Resources are maintained at https://github.com/Yijia-Xiao/Protein-LLM-Survey.

arxiv情報

著者 Yijia Xiao,Wanjia Zhao,Junkai Zhang,Yiqiao Jin,Han Zhang,Zhicheng Ren,Renliang Sun,Haixin Wang,Guancheng Wan,Pan Lu,Xiao Luo,Yu Zhang,James Zou,Yizhou Sun,Wei Wang
発行日 2025-03-06 16:14:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CE, cs.CL, cs.LG, q-bio.BM | Protein Large Language Models: A Comprehensive Survey はコメントを受け付けていません

LINGOLY-TOO: Disentangling Memorisation from Reasoning with Linguistic Templatisation and Orthographic Obfuscation

投稿日: 2025年3月7日 作成者: jarxiv

要約

大規模な言語モデル（LLM）の推論能力を評価することは、評価ベンチマークのデータ露出により、過大評価の影響を受けやすくなります。
モデルのパフォーマンス推定における記憶の効果を軽減する言語的推論問題を生み出すためのフレームワークを紹介し、このフレームワークを適用して、言語的推論のための挑戦的なベンチマークであるLingoly-Tooを開発します。
正書法のテンプレートを開発することにより、実際の言語のライティングシステムを動的に難読化して、多大な違いを生み出します。
これらのバリエーションは、モデルトレーニングデータに表示される特定の問題インスタンスの可能性を減らしながら、各ソリューションに必要な推論手順を維持します。
私たちの実験は、Claud 3.7 Sonnet、O1-Preview、Deepseek R1を含むフロンティアモデルが高度な推論に苦しんでいることを示しています。
また、私たちの分析は、LLMが同じ問題の順列全体で精度の顕著な分散を示すことを示しており、元の正書法に表示される質問で平均的にパフォーマンスを発揮します。
私たちの調査結果は、LLMSにおける応答生成の不透明な性質を強調し、以前のデータ曝露がフロンティアモデルの推論能力の推定に貢献しているという証拠を提供します。

要約(オリジナル)

Assessing the reasoning capabilities of large language models (LLMs) is susceptible to overestimation due to data exposure of evaluation benchmarks. We introduce a framework for producing linguistic reasoning problems that reduces the effect of memorisation in model performance estimates and apply this framework to develop LINGOLY-TOO, a challenging benchmark for linguistic reasoning. By developing orthographic templates, we dynamically obfuscate the writing systems of real languages to generate numerousquestion variations. These variations preserve the reasoning steps required for each solution while reducing the likelihood of specific problem instances appearing in model training data. Our experiments demonstrate that frontier models, including Claud 3.7 Sonnet, o1-preview and DeepSeek R1, struggle with advanced reasoning. Our analysis also shows that LLMs exhibit noticeable variance in accuracy across permutations of the same problem, and on average perform better on questions appearing in their original orthography. Our findings highlight the opaque nature of response generation in LLMs and provide evidence that prior data exposure contributes to over estimating the reasoning capabilities of frontier models.

arxiv情報

著者 Jude Khouja,Karolina Korgul,Simi Hellsten,Lingyi Yang,Vlad Neacs,Harry Mayne,Ryan Kearns,Andrew Bean,Adam Mahdi
発行日 2025-03-06 16:16:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | LINGOLY-TOO: Disentangling Memorisation from Reasoning with Linguistic Templatisation and Orthographic Obfuscation はコメントを受け付けていません

Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE

投稿日: 2025年3月7日 作成者: jarxiv

要約

このホワイトペーパーでは、UMAPやT-SNEなどの次元削減方法は、ProbDRで導入されたモデルに対応するマップ推論方法としてほぼ再起動できることを示しています。
この解釈は、これらの共分散に対応する分散が低く（潜在的に誤ったこと）ことを示すことにより、このようなアルゴリズムに対するより深い理論的および意味的洞察を提供し、グラフラプラシアンによって暗示されている共分散を説明するために使用できることを示すことにより、ガウスプロセス潜在変数モデルとのつながりを築くことができます。
また、同様の次元削減方法を研究できるツールも紹介します。

要約(オリジナル)

This paper shows that dimensionality reduction methods such as UMAP and t-SNE, can be approximately recast as MAP inference methods corresponding to a model introduced in ProbDR, that describes the graph Laplacian (an estimate of the data precision matrix) using a Wishart distribution, with a mean given by a non-linear covariance function evaluated on the latents. This interpretation offers deeper theoretical and semantic insights into such algorithms, by showing that variances corresponding to these covariances are low (potentially misspecified), and forging a connection to Gaussian process latent variable models by showing that well-known kernels can be used to describe covariances implied by graph Laplacians. We also introduce tools with which similar dimensionality reduction methods can be studied.

arxiv情報

著者 Aditya Ravuri,Neil D. Lawrence
発行日 2025-03-06 16:22:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.ML | Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE はコメントを受け付けていません