Forest Proximities for Time Series

投稿日: 2024年10月8日 作成者: jarxiv

要約

RF-GAP は、改良されたランダム フォレスト近接測定として最近導入されました。
この論文では、RF-GAP の近接性を近接林に拡張した、正確かつ効率的な時系列分類モデルである PF-GAP を紹介します。
多次元尺度法と組み合わせて森林近接度を使用して、単変量時系列のベクトル埋め込みを取得し、その埋め込みをさまざまな時系列距離測定を使用して取得したベクトル埋め込みと比較します。
また、局所外れ値因子と併せて森林の近接性を使用して、時系列距離測定を使用する最近傍分類器と比較して、誤分類された点と外れ値の間の関係を調査します。
森林の近接性は、最近傍分類器よりも誤って分類された点と外れ値との間に強いつながりを示す可能性があることを示します。

要約(オリジナル)

RF-GAP has recently been introduced as an improved random forest proximity measure. In this paper, we present PF-GAP, an extension of RF-GAP proximities to proximity forests, an accurate and efficient time series classification model. We use the forest proximities in connection with Multi-Dimensional Scaling to obtain vector embeddings of univariate time series, comparing the embeddings to those obtained using various time series distance measures. We also use the forest proximities alongside Local Outlier Factors to investigate the connection between misclassified points and outliers, comparing with nearest neighbor classifiers which use time series distance measures. We show that the forest proximities may exhibit a stronger connection between misclassified points and outliers than nearest neighbor classifiers.

arxiv情報

著者 Ben Shaw,Jake Rhodes,Soukaina Filali Boubrahimi,Kevin R. Moon
発行日 2024-10-07 16:41:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | コメントする

Principal-Agent Reinforcement Learning: Orchestrating AI Agents with Contracts

投稿日: 2024年10月8日 作成者: jarxiv

要約

AI の導入の増加により、インターネットの将来の状況が形成され、AI エージェントの統合エコシステムとなる予定です。
AI エージェント間の相互作用を調整するには、個人の利益と社会福祉の間の緊張を調和させる、分散型で自立的なメカニズムが必要です。
この論文では、強化学習と経済学のプリンシパルエージェント理論を相乗させることで、この課題に取り組みます。
個別に考えると、前者は非現実的な介入の自由を許可しますが、後者は連続した設定で拡張するのに苦労します。
それらを組み合わせることで、両方の長所を実現できます。
私たちは、エージェントの行動の観察可能な結果に基づいてプリンシパルによる支払いを指定する一連の契約を使用して、プリンシパルがマルコフ決定プロセス (MDP) でエージェントをガイドするフレームワークを提案します。
プリンシパルとエージェントのポリシーを繰り返し最適化するメタアルゴリズムを提示して分析し、プリンシパルの Q 関数の短縮演算子との等価性と、サブゲーム完全均衡への収束を示します。
次に、ディープ Q ラーニングを使用してアルゴリズムを拡張し、理論的に、またランダムに生成されたバイナリ ゲーム ツリーを使用した実験を通じて、近似誤差が存在する場合のその収束を分析します。
私たちのフレームワークを複数のエージェントに拡張し、私たちの方法論を組み合わせコインゲームに適用します。
このマルチエージェントの逐次的な社会的ジレンマに対処することは、私たちのアプローチをより複雑な現実世界のインスタンスに拡張するための有望な第一歩となります。

要約(オリジナル)

The increasing deployment of AI is shaping the future landscape of the internet, which is set to become an integrated ecosystem of AI agents. Orchestrating the interaction among AI agents necessitates decentralized, self-sustaining mechanisms that harmonize the tension between individual interests and social welfare. In this paper we tackle this challenge by synergizing reinforcement learning with principal-agent theory from economics. Taken separately, the former allows unrealistic freedom of intervention, while the latter struggles to scale in sequential settings. Combining them achieves the best of both worlds. We propose a framework where a principal guides an agent in a Markov Decision Process (MDP) using a series of contracts, which specify payments by the principal based on observable outcomes of the agent’s actions. We present and analyze a meta-algorithm that iteratively optimizes the policies of the principal and agent, showing its equivalence to a contraction operator on the principal’s Q-function, and its convergence to subgame-perfect equilibrium. We then scale our algorithm with deep Q-learning and analyze its convergence in the presence of approximation error, both theoretically and through experiments with randomly generated binary game-trees. Extending our framework to multiple agents, we apply our methodology to the combinatorial Coin Game. Addressing this multi-agent sequential social dilemma is a promising first step toward scaling our approach to more complex, real-world instances.

arxiv情報

著者 Dima Ivanov,Paul Dütting,Inbal Talgam-Cohen,Tonghan Wang,David C. Parkes
発行日 2024-10-07 16:46:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.GT, cs.LG, cs.MA | コメントする

Matrix-weighted networks for modeling multidimensional dynamics

投稿日: 2024年10月8日 作成者: jarxiv

要約

ネットワークは、複雑なシステム内の相互作用をモデル化するための強力なツールです。
従来のネットワークはスカラー エッジの重みを使用しますが、現実世界のシステムの多くは多次元の相互作用を伴います。
たとえば、ソーシャル ネットワークでは、個人が相互に関連した複数の意見を持っていることがよくあり、それが他の個人のさまざまな意見に影響を与える可能性があり、マトリックスによってより適切に特徴付けることができます。
我々は、このような多次元相互作用ダイナミクスをモデル化するための新しい一般的なフレームワークである行列重み付けネットワーク (MWN) を提案します。
我々は、MWN の数学的基礎を提示し、この文脈におけるコンセンサス ダイナミクスとランダム ウォークを調査します。
私たちの結果は、MWN の一貫性が、従来のネットワークにおけるコミュニティと構造的バランスの概念を一般化する非自明な定常状態を引き起こすことを明らかにしました。

要約(オリジナル)

Networks are powerful tools for modeling interactions in complex systems. While traditional networks use scalar edge weights, many real-world systems involve multidimensional interactions. For example, in social networks, individuals often have multiple interconnected opinions that can affect different opinions of other individuals, which can be better characterized by matrices. We propose a novel, general framework for modeling such multidimensional interacting dynamics: matrix-weighted networks (MWNs). We present the mathematical foundations of MWNs and examine consensus dynamics and random walks within this context. Our results reveal that the coherence of MWNs gives rise to non-trivial steady states that generalize the notions of communities and structural balance in traditional networks.

arxiv情報

著者 Yu Tian,Sadamori Kojaku,Hiroki Sayama,Renaud Lambiotte
発行日 2024-10-07 16:47:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 05C22, 05C50, 05C81, 37E25, 39A06, 91D30, 94C15, cs.LG, cs.SI, math-ph, math.MP, physics.soc-ph | コメントする

Optimal Aggregation of Prediction Intervals under Unsupervised Domain Shift

投稿日: 2024年10月8日 作成者: jarxiv

要約

機械学習モデルが動的環境に導入されることが増えているため、分布の変化に伴う不確実性を評価し、定量化することが最も重要になっています。
基礎となるデータ生成プロセスが変更されると分布の変化が発生し、モデルのパフォーマンスに偏差が生じます。
特定の予測に対して起こりそうな結果の範囲を把握する予測区間は、基礎となる分布によって引き起こされる不確実性を特徴付けるための重要なツールとして機能します。
この論文では、教師なしドメイン シフトの下でターゲット ドメイン上で最小の幅と適切なカバレッジを持つ予測区間を取得するための予測区間を集計する方法論を提案します。この手法では、関連するソース ドメインからのサンプルとターゲット ドメインからのラベルなしの共変量をラベル付けしました。
私たちの分析には、i) 有界密度比、および ii) 測度保存変換を介してソース ドメインとターゲット ドメインが関連付けられるシナリオが含まれます。
私たちが提案する方法論は計算効率が高く、実装が簡単です。
現実世界のデータセットを通じてメソッドのパフォーマンスを説明するだけでなく、理論的な詳細も掘り下げます。
これには、予測区間の範囲と幅に関して、有限のサンプル境界と組み合わせた厳密な理論的保証を確立することが含まれます。
私たちのアプローチは実用的なアプリケーションに優れており、強固な理論的フレームワークに支えられており、さまざまな状況にわたってその信頼性と有効性が保証されています。

要約(オリジナル)

As machine learning models are increasingly deployed in dynamic environments, it becomes paramount to assess and quantify uncertainties associated with distribution shifts. A distribution shift occurs when the underlying data-generating process changes, leading to a deviation in the model’s performance. The prediction interval, which captures the range of likely outcomes for a given prediction, serves as a crucial tool for characterizing uncertainties induced by their underlying distribution. In this paper, we propose methodologies for aggregating prediction intervals to obtain one with minimal width and adequate coverage on the target domain under unsupervised domain shift, under which we have labeled samples from a related source domain and unlabeled covariates from the target domain. Our analysis encompasses scenarios where the source and the target domain are related via i) a bounded density ratio, and ii) a measure-preserving transformation. Our proposed methodologies are computationally efficient and easy to implement. Beyond illustrating the performance of our method through real-world datasets, we also delve into the theoretical details. This includes establishing rigorous theoretical guarantees, coupled with finite sample bounds, regarding the coverage and width of our prediction intervals. Our approach excels in practical applications and is underpinned by a solid theoretical framework, ensuring its reliability and effectiveness across diverse contexts.

arxiv情報

著者 Jiawei Ge,Debarghya Mukherjee,Jianqing Fan
発行日 2024-10-07 17:07:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.ST, stat.ME, stat.ML, stat.TH | コメントする

Online Convex Optimization with a Separation Oracle

投稿日: 2024年10月8日 作成者: jarxiv

要約

この論文では、分離ベースのアルゴリズムの中で最先端のリグアランス保証を備えた、オンライン凸最適化 (OCO) のための新しい投影フリー アルゴリズムを紹介します。
古典的な Frank-Wolfe アルゴリズムに基づく既存の射影のない手法では、次善のリグレス限界 $O(T^{3/4})$ が達成されますが、より最近の分離ベースのアプローチでは $O(\kappa \ のリグレス限界が保証されています)
sqrt{T})$、ここで $\kappa$ は実現可能なセットの非球面度を示し、包含ボールと包含ボールの半径の比として定義されます。
ただし、条件の悪いセットの場合、$\kappa$ が任意に大きくなり、パフォーマンスの低下につながる可能性があります。
私たちのアルゴリズムは $\widetilde{O}(\sqrt{dT} + \kappa d)$ のリグレス限界を達成しますが、ラウンドごとに分離オラクルへの $\widetilde{O}(1)$ 呼び出しのみを必要とします。
重要なのは、範囲内の主項 $\widetilde{O}(\sqrt{d T})$ が $\kappa$ から独立しており、以前の方法の制限に対処していることです。
さらに、分析の副産物として、より単純な分析により既存の OCO アルゴリズムの $O(\kappa \sqrt{T})$ リグレス限界を回復し、射影のないオンライン exp-concave のリグアロング限界を改善しました。
最適化。
最後に、制約付き確率的凸最適化では、$\widetilde{O}(\sigma/\sqrt{T} + \kappa d/T)$ という最先端の収束率を達成します。ここで、$\sigma$
は確率的勾配のノイズを表しますが、反復ごとに分離オラクルへの $\widetilde{O}(1)$ 呼び出しのみが必要です。

要約(オリジナル)

In this paper, we introduce a new projection-free algorithm for Online Convex Optimization (OCO) with a state-of-the-art regret guarantee among separation-based algorithms. Existing projection-free methods based on the classical Frank-Wolfe algorithm achieve a suboptimal regret bound of $O(T^{3/4})$, while more recent separation-based approaches guarantee a regret bound of $O(\kappa \sqrt{T})$, where $\kappa$ denotes the asphericity of the feasible set, defined as the ratio of the radii of the containing and contained balls. However, for ill-conditioned sets, $\kappa$ can be arbitrarily large, potentially leading to poor performance. Our algorithm achieves a regret bound of $\widetilde{O}(\sqrt{dT} + \kappa d)$, while requiring only $\widetilde{O}(1)$ calls to a separation oracle per round. Crucially, the main term in the bound, $\widetilde{O}(\sqrt{d T})$, is independent of $\kappa$, addressing the limitations of previous methods. Additionally, as a by-product of our analysis, we recover the $O(\kappa \sqrt{T})$ regret bound of existing OCO algorithms with a more straightforward analysis and improve the regret bound for projection-free online exp-concave optimization. Finally, for constrained stochastic convex optimization, we achieve a state-of-the-art convergence rate of $\widetilde{O}(\sigma/\sqrt{T} + \kappa d/T)$, where $\sigma$ represents the noise in the stochastic gradients, while requiring only $\widetilde{O}(1)$ calls to a separation oracle per iteration.

arxiv情報

著者 Zakaria Mhammedi
発行日 2024-10-07 17:15:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | コメントする

Stateful Large Language Model Serving with Pensieve

投稿日: 2024年10月8日 作成者: jarxiv

要約

大規模言語モデル (LLM) は現在非常に人気があり、これを効率的に提供することが重要です。
既存の LLM サービス システムは、リクエスト全体にわたってステートレスです。
その結果、LLM が複数ターンの会話の一般的な設定で使用される場合、各ターンでサービス提供システムによるリクエストとともに増大する会話履歴のログを処理する必要があり、結果として処理が繰り返されることになります。
この論文では、マルチターン会話 LLM サービス用に最適化されたシステム $Pensieve$ を設計します。
$Pensieve$ は、重複した処理を避けるために以前に処理された履歴をキャッシュすることで、リクエスト間で会話の状態を維持します。
$Pensieve$ の多層キャッシュ戦略では、GPU と CPU メモリの両方を利用して、キャッシュされたデータを効率的に保存および取得できます。
また、$Pensieve$ は、不連続メモリ上に分散された GPU キャッシュを使用して、複数の入力トークン間のアテンションをサポートするために、最近の PagedAttendance カーネルを一般化します。
私たちの評価では、$Pensieve$ が vLLM および TensorRT-LLM の $1.14$ ～ $3.0\ 倍のスループットを達成し、レイテンシーを大幅に削減できることがわかりました。

要約(オリジナル)

Large Language Models (LLMs) are wildly popular today and it is important to serve them efficiently. Existing LLM serving systems are stateless across requests. Consequently, when LLMs are used in the common setting of multi-turn conversations, a growing log of the conversation history must be processed alongside any request by the serving system at each turn, resulting in repeated processing. In this paper, we design $Pensieve$, a system optimized for multi-turn conversation LLM serving. $Pensieve$ maintains the conversation state across requests by caching previously processed history to avoid duplicate processing. $Pensieve$’s multi-tier caching strategy can utilize both GPU and CPU memory to efficiently store and retrieve cached data. $Pensieve$ also generalizes the recent PagedAttention kernel to support attention between multiple input tokens with a GPU cache spread over non-contiguous memory. Our evaluation shows that $Pensieve$ can achieve $1.14$-$3.0\times$ the throughput of vLLM and TensorRT-LLM and significantly reduce latency.

arxiv情報

著者 Lingfan Yu,Jinkun Lin,Jinyang Li
発行日 2024-10-07 17:21:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | コメントする

Full Line Code Completion: Bringing AI to Desktop

投稿日: 2024年10月8日 作成者: jarxiv

要約

近年、マルチトークンコード補完の問題に対するいくつかの産業用ソリューションが登場し、それぞれがこの分野で大きな進歩を遂げていますが、そのほとんどはクラウドベースのランタイムに焦点を当てており、エンドユーザーのデバイスでの作業を回避しています。
この作業では、フルライン コード補完と呼ばれる、JetBrains の IntelliJ プラットフォーム用のマルチトークン コード補完機能を構築するためのアプローチについて説明します。
この機能は構文的に正しいコードのみを提案し、完全にローカルで動作します。つまり、データのクエリと提案の生成はエンド ユーザーのマシンで行われます。
私たちは、時間とメモリ消費に関する重要な制限と、コード補完エンジンが満たすべき設計原則を共有します。
エンド ユーザーのデバイス上で完全に動作するコード補完エンジンは、高速かつコンパクトなだけでなく安全でもありながら、ユーザー エクスペリエンスを豊かにします。
明示された開発制約を満たすための多くの有用なテクニックを共有し、より適切な意思決定を可能にするオフラインおよびオンラインの評価パイプラインについても説明します。
オンライン評価によると、このツールを使用すると、コード補完によって IDE で 1.3 倍多くの Python コードが生成されることがわかりました。
説明されているソリューションは、当初研究者の協力を得て開始され、その後すべての JetBrains IDE にバンドルされ、現在では何百万ものユーザーによって使用されています。
したがって、この研究は学術界と産業界の橋渡しに役立ち、複雑な研究​​ベースのソリューションが実際の製品に統合されたときに何が起こるかについての知識を研究者に提供できると私たちは信じています。

要約(オリジナル)

In recent years, several industrial solutions for the problem of multi-token code completion appeared, each making a great advance in the area but mostly focusing on cloud-based runtime and avoiding working on the end user’s device. In this work, we describe our approach for building a multi-token code completion feature for the JetBrains’ IntelliJ Platform, which we call Full Line Code Completion. The feature suggests only syntactically correct code and works fully locally, i.e., data querying and the generation of suggestions happens on the end user’s machine. We share important time and memory-consumption restrictions, as well as design principles that a code completion engine should satisfy. Working entirely on the end user’s device, our code completion engine enriches user experience while being not only fast and compact but also secure. We share a number of useful techniques to meet the stated development constraints and also describe offline and online evaluation pipelines that allowed us to make better decisions. Our online evaluation shows that the usage of the tool leads to 1.3 times more Python code in the IDE being produced by code completion. The described solution was initially started with a help of researchers and was then bundled into all JetBrains IDEs where it is now used by millions of users. Thus, we believe that this work is useful for bridging academia and industry, providing researchers with the knowledge of what happens when complex research-based solutions are integrated into real products.

arxiv情報

著者 Anton Semenkin,Vitaliy Bibaev,Yaroslav Sokolov,Kirill Krylov,Alexey Kalina,Anna Khannanova,Danila Savenkov,Darya Rovdo,Igor Davidenko,Kirill Karnaukhov,Maxim Vakhrushev,Mikhail Kostyukov,Mikhail Podvitskii,Petr Surkov,Yaroslav Golubev,Nikita Povarov,Timofey Bryksin
発行日 2024-10-07 17:23:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SE | コメントする

Jogging the Memory of Unlearned LLMs Through Targeted Relearning Attack

投稿日: 2024年10月8日 作成者: jarxiv

要約

機械の非学習は、LLM でのトレーニング データの望ましくない記憶を軽減するための有望なアプローチです。
しかし、この研究では、LLM でのアンラーニングに対する既存のアプローチが、驚くほど単純な一連の標的型再学習攻撃の影響を受けやすいことを示します。
小規模で関連性が低い可能性のあるデータ セットのみにアクセスすることで、未学習モデルのメモリを「ジョギング」して、未学習の影響を逆転できることがわかりました。
たとえば、公開されている医学論文を再学習すると、未学習の LLM が生物兵器に関する有害な知識を出力する可能性があり、ハリー ポッターシリーズに関する一般的な Wiki 情報を再学習すると、モデルが逐語的に記憶したテキストを出力する可能性があることを示します。
この非学習-再学習パイプラインを形式化し、3 つの一般的な非学習ベンチマークにわたる攻撃を調査し、調査から得られる将来の方向性とガイドラインについて議論します。

要約(オリジナル)

Machine unlearning is a promising approach to mitigate undesirable memorization of training data in LLMs. However, in this work we show that existing approaches for unlearning in LLMs are surprisingly susceptible to a simple set of targeted relearning attacks. With access to only a small and potentially loosely related set of data, we find that we can ‘jog’ the memory of unlearned models to reverse the effects of unlearning. For example, we show that relearning on public medical articles can lead an unlearned LLM to output harmful knowledge about bioweapons, and relearning general wiki information about the book series Harry Potter can force the model to output verbatim memorized text. We formalize this unlearning-relearning pipeline, explore the attack across three popular unlearning benchmarks, and discuss future directions and guidelines that result from our study.

arxiv情報

著者 Shengyuan Hu,Yiwei Fu,Zhiwei Steven Wu,Virginia Smith
発行日 2024-10-07 17:27:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

ETGL-DDPG: A Deep Deterministic Policy Gradient Algorithm for Sparse Reward Continuous Control

投稿日: 2024年10月8日 作成者: jarxiv

要約

我々は、スパース報酬を用いた強化学習のコンテキストで深い決定論的ポリシー勾配 (DDPG) を検討します。
探索を強化するために、あまり訪問されていない州を探索するための探索オプションを生成する探索プロシージャ \emph{${\epsilon}{t}$-greedy} を導入します。
$\epsilon t$-greedy を使用した検索は、穏やかな MDP 仮定の下で多項式サンプルの複雑さを有することを証明します。
リワードトランジションによって提供される情報をより効率的に使用するために、新しいデュアルエクスペリエンスリプレイバッファフレームワーク \emph{GDRB} を開発し、\emph{最長 n ステップリターン} を実装します。
結果として得られるアルゴリズム \emph{ETGL-DDPG} は、\bm{$\epsilon t$}-greedy、\textbf{G}DRB、および \textbf{L}ongest $n$-step の 3 つの手法をすべて統合しています。
DDPG。
私たちは標準ベンチマークで ETGL-DDPG を評価し、テストされたすべてのスパース報酬連続環境において、DDPG やその他の最先端の手法よりも優れていることを実証しました。
アブレーション研究では、各戦略がこの設定で DDPG のパフォーマンスを個別にどのように向上させるかをさらに強調しています。

要約(オリジナル)

We consider deep deterministic policy gradient (DDPG) in the context of reinforcement learning with sparse rewards. To enhance exploration, we introduce a search procedure, \emph{${\epsilon}{t}$-greedy}, which generates exploratory options for exploring less-visited states. We prove that search using $\epsilon t$-greedy has polynomial sample complexity under mild MDP assumptions. To more efficiently use the information provided by rewarded transitions, we develop a new dual experience replay buffer framework, \emph{GDRB}, and implement \emph{longest n-step returns}. The resulting algorithm, \emph{ETGL-DDPG}, integrates all three techniques: \bm{$\epsilon t$}-greedy, \textbf{G}DRB, and \textbf{L}ongest $n$-step, into DDPG. We evaluate ETGL-DDPG on standard benchmarks and demonstrate that it outperforms DDPG, as well as other state-of-the-art methods, across all tested sparse-reward continuous environments. Ablation studies further highlight how each strategy individually enhances the performance of DDPG in this setting.

arxiv情報

著者 Ehsan Futuhi,Shayan Karimi,Chao Gao,Martin Müller
発行日 2024-10-07 17:31:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO, stat.ML | コメントする

SymmetryLens: A new candidate paradigm for unsupervised symmetry learning via locality and equivariance

投稿日: 2024年10月8日 作成者: jarxiv

要約

私たちは、生データから始めて、データの対称性等変表現とともに、対称性の基礎となるリー群の最小 (離散) 生成器を与える、新しい教師なし対称性学習方法を開発します。
この方法では、近似的な平行移動対称性のみを持つデータセットからピクセル平行移動演算子を学習でき、肉眼では見えないまったく異なる種類の対称性も同様に良好に学習できます。
この方法は、特定の候補対称性の下でデータセットが対称である度合いと、この対称性に関するデータセット内のサンプルの局所性の度合いの両方を測定する情報理論的損失関数の定式化に基づいています。
我々は、エントロピー推定のために開発された特別な最適化手法と対称性と局所性のこの結合により、再現性のある結果が得られる非常に安定したシステムが得られることを実証します。
私たちが考慮する対称作用は群表現ですが、このアプローチは非可換リー群のより一般的な非線形作用に一般化できる可能性があると考えています。

要約(オリジナル)

We develop a new, unsupervised symmetry learning method that starts with raw data, and gives the minimal (discrete) generator of an underlying Lie group of symmetries, together with a symmetry equivariant representation of the data. The method is able to learn the pixel translation operator from a dataset with only an approximate translation symmetry, and can learn quite different types of symmetries which are not apparent to the naked eye, equally well. The method is based on the formulation of an information-theoretic loss function that measures both the degree to which the dataset is symmetric under a given candidate symmetry, and also, the degree of locality of the samples in the dataset with respect to this symmetry. We demonstrate that this coupling between symmetry and locality, together with a special optimization technique developed for entropy estimation, results in a highly stable system that gives reproducible results. The symmetry actions we consider are group representations, however, we believe the approach has the potential to be generalized to more general, nonlinear actions of non-commutative Lie groups.

arxiv情報

著者 Onur Efe,Arkadas Ozakin
発行日 2024-10-07 17:40:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする