Edge-Colored Clustering in Hypergraphs: Beyond Minimizing Unsatisfied Edges

要約

エッジ色のハイパーグラフをクラスタリングするためのフレームワークを検討します。ここでは、参加する一次タイプのマルチウェイインタラクションに基づいてクラスタ(同等に色)オブジェクトをクラスター化することです。適切に研究された目的の1つは、色ノードの数を最小化することです。
不満のハイペラエッジ – 色がハイパーエッジの色と一致しない1つ以上のノードを含むもの。
私たちは、この最小化の問題を超えて拡張するいくつかの方向の進歩をやる気にさせ、提示します。
最初に、満足したエッジを最大化するための新しいアルゴリズムを提供します。これは、最適性で同じですが、前のすべての作業がグラフに限定されているため、近似するのがはるかに困難です。
ハイパーグラフの最初の近似アルゴリズムを開発し、それを改良して、グラフの最もよく知られている近似係数を改善します。
次に、バランスと公平性の概念を組み込んだ新しい目的関数を導入し、新しい硬度の結果、近似、および固定パラメーターの牽引可能性の結果を提供します。

要約(オリジナル)

We consider a framework for clustering edge-colored hypergraphs, where the goal is to cluster (equivalently, to color) objects based on the primary type of multiway interactions they participate in. One well-studied objective is to color nodes to minimize the number of unsatisfied hyperedges — those containing one or more nodes whose color does not match the hyperedge color. We motivate and present advances for several directions that extend beyond this minimization problem. We first provide new algorithms for maximizing satisfied edges, which is the same at optimality but is much more challenging to approximate, with all prior work restricted to graphs. We develop the first approximation algorithm for hypergraphs, and then refine it to improve the best-known approximation factor for graphs. We then introduce new objective functions that incorporate notions of balance and fairness, and provide new hardness results, approximations, and fixed-parameter tractability results.

arxiv情報

著者 Alex Crane,Thomas Stanley,Blair D. Sullivan,Nate Veldt
発行日 2025-02-18 16:20:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DM, cs.DS, cs.LG | Edge-Colored Clustering in Hypergraphs: Beyond Minimizing Unsatisfied Edges はコメントを受け付けていません

Invariant Subspace Decomposition

要約

Xが与えられたXの条件付き分布が時間の経過とともに変化する設定で、共変量Xのセットから応答yを予測するタスクを検討します。
これを実行可能にするためには、条件付き分布が時間の経過とともにどのように変化するかについての仮定が必要です。
既存のアプローチは、たとえば、変化が時間の経過とともにスムーズに発生するため、最近の過去のみを使用した短期予測が実行可能になると仮定しています。
さらに過去に観測をさらに活用するために、条件分布を時間不変および残留時間依存成分に分割する不変部分空間分解(ISD)と呼ばれる線形条件の新しい不変性ベースのフレームワークを提案します。
私たちが示しているように、この分解は、ゼロショットと時間に適合する予測タスクの両方に使用できます。つまり、それぞれYで予測する時点でNOまたは少量のトレーニングデータが利用可能な設定です。
おおよそのジョイントマトリックスの斜めからのツールを使用して、自動的に分解を推定する実用的な推定手順を提案します。
さらに、提案された推定器に有限のサンプル保証を提供し、追加の不変構造を使用しないアプローチが実際に改善されることを経験的に実証します。

要約(オリジナル)

We consider the task of predicting a response Y from a set of covariates X in settings where the conditional distribution of Y given X changes over time. For this to be feasible, assumptions on how the conditional distribution changes over time are required. Existing approaches assume, for example, that changes occur smoothly over time so that short-term prediction using only the recent past becomes feasible. To additionally exploit observations further in the past, we propose a novel invariance-based framework for linear conditionals, called Invariant Subspace Decomposition (ISD), that splits the conditional distribution into a time-invariant and a residual time-dependent component. As we show, this decomposition can be utilized both for zero-shot and time-adaptation prediction tasks, that is, settings where either no or a small amount of training data is available at the time points we want to predict Y at, respectively. We propose a practical estimation procedure, which automatically infers the decomposition using tools from approximate joint matrix diagonalization. Furthermore, we provide finite sample guarantees for the proposed estimator and demonstrate empirically that it indeed improves on approaches that do not use the additional invariant structure.

arxiv情報

著者 Margherita Lazzaretto,Jonas Peters,Niklas Pfister
発行日 2025-02-18 16:24:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.ST, stat.ME, stat.ML, stat.TH | Invariant Subspace Decomposition はコメントを受け付けていません

Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification

要約

時系列の分類は、さまざまなドメインでの意思決定プロセスをサポートする関連するステップであり、深いニューラルモデルは有望なパフォーマンスを示しています。
深い学習の大幅な進歩にもかかわらず、複雑なアーキテクチャの機能がどのように、なぜ制限されているかについての理論的理解は、より解釈可能なモデルの必要性を促します。
最近、Kolmogorov-Arnold Networks(Kans)は、より解釈可能な代替として提案されています。
Kan関連の研究はこれまでに大幅に増加していますが、時系列分類のためのKan建築の研究は限られています。
この論文では、UCRベンチマークでの時系列分類のために、Kanアーキテクチャの包括的な堅牢な調査を実施することを目指しています。
より具体的には、a)分類への転送を予測するための参照アーキテクチャ、b)ハイパーパラメーターと実装の影響を、選択したベンチマークで最もよく機能するもの、c)複雑さのトレードオフを見つけることを考慮して、分類パフォーマンスに対する実装の影響について説明します。
d)解釈可能性の利点。
私たちの結果は、(1)効率的なKanがパフォーマンスと計算効率のMLPを上回り、タスク分類タスクに対する適合性を示していることを示しています。
(2)効率的なKanは、特に学習率が低い場合、グリッドサイズ、深さ、層構成全体でKanよりも安定しています。
(3)Kanは、Hive-Cote2のような最先端のモデルと比較して競争の正確性を維持しており、アーキテクチャが小さく、トレーニング時間が短く、パフォーマンスと透明性のバランスをサポートしています。
(4)KANモデルの解釈可能性は、SHAP分析の結果と一致し、透明な意思決定の能力を強化します。

要約(オリジナル)

Time series classification is a relevant step supporting decision-making processes in various domains, and deep neural models have shown promising performance. Despite significant advancements in deep learning, the theoretical understanding of how and why complex architectures function remains limited, prompting the need for more interpretable models. Recently, the Kolmogorov-Arnold Networks (KANs) have been proposed as a more interpretable alternative. While KAN-related research is significantly rising, to date, the study of KAN architectures for time series classification has been limited. In this paper, we aim to conduct a comprehensive and robust exploration of the KAN architecture for time series classification on the UCR benchmark. More specifically, we look at a) how reference architectures for forecasting transfer to classification, at the b) hyperparameter and implementation influence on the classification performance in view of finding the one that performs best on the selected benchmark, the c) complexity trade-offs and d) interpretability advantages. Our results show that (1) Efficient KAN outperforms MLP in performance and computational efficiency, showcasing its suitability for tasks classification tasks. (2) Efficient KAN is more stable than KAN across grid sizes, depths, and layer configurations, particularly with lower learning rates. (3) KAN maintains competitive accuracy compared to state-of-the-art models like HIVE-COTE2, with smaller architectures and faster training times, supporting its balance of performance and transparency. (4) The interpretability of the KAN model aligns with findings from SHAP analysis, reinforcing its capacity for transparent decision-making.

arxiv情報

著者 Irina Barašin,Blaž Bertalanič,Mihael Mohorčič,Carolina Fortuna
発行日 2025-02-18 16:36:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification はコメントを受け付けていません

Gradient Equilibrium in Online Learning: Theory and Applications

要約

勾配平衡と呼ばれるオンライン学習に関する新しい視点を提示します。シーケンスに沿った損失の平均の平均がゼロに収束する場合、一連の反復液が勾配平衡を達成します。
一般に、この状態は、副後悔によって暗示されておらず、暗示されていません。
勾配平衡は、勾配降下や一定のステップサイズのミラー降下などの標準的なオンライン学習方法によって達成可能であることがわかります(後悔することなく通常必要なステップサイズではなく)。
さらに、例を示すように、勾配平衡は、回帰、分類、分位分類の推定などにまたがるオンライン予測問題の解釈可能かつ意味のある特性に変換されます。
特に、勾配平衡フレームワークを使用して、単純な事後オンライン降下更新に基づいて、任意の分布シフト下でのブラックボックス予測の衰弱スキームを開発できることを示しています。
また、ポストホックグラデーションの更新を使用して、分布シフト下で予測される分位を調整し、フレームワークがペアワイズ優先予測の偏りのないELOスコアにつながることを示しています。

要約(オリジナル)

We present a new perspective on online learning that we refer to as gradient equilibrium: a sequence of iterates achieves gradient equilibrium if the average of gradients of losses along the sequence converges to zero. In general, this condition is not implied by, nor implies, sublinear regret. It turns out that gradient equilibrium is achievable by standard online learning methods such as gradient descent and mirror descent with constant step sizes (rather than decaying step sizes, as is usually required for no regret). Further, as we show through examples, gradient equilibrium translates into an interpretable and meaningful property in online prediction problems spanning regression, classification, quantile estimation, and others. Notably, we show that the gradient equilibrium framework can be used to develop a debiasing scheme for black-box predictions under arbitrary distribution shift, based on simple post hoc online descent updates. We also show that post hoc gradient updates can be used to calibrate predicted quantiles under distribution shift, and that the framework leads to unbiased Elo scores for pairwise preference prediction.

arxiv情報

著者 Anastasios N. Angelopoulos,Michael I. Jordan,Ryan J. Tibshirani
発行日 2025-02-18 16:39:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, math.ST, stat.ML, stat.TH | Gradient Equilibrium in Online Learning: Theory and Applications はコメントを受け付けていません

Efficient and Sharp Off-Policy Learning under Unobserved Confounding

要約

観察されていない交絡を伴うシナリオで、パーソナライズされたオフポリシー学習のための新しい方法を開発します。
それにより、標準的なポリシー学習の重要な制限に対処します。標準的なポリシー学習は、非強制性を想定しています。つまり、観察されていない要因が治療の割り当てと結果の両方に影響しないことを意味します。
ただし、この仮定はしばしば侵害されています。そのため、標準的なポリシー学習は偏った推定値を生み出し、したがって有害なポリシーにつながります。
この制限に対処するために、因果感度分析を採用し、観察されていない交絡の下での値関数の鋭いバウンドの統計的に効率的な推定器を導き出します。
推定量には3つの利点があります。(1)既存の作業とは異なり、推定器は逆傾向の加重結果に基づいて不安定なミニマックス最適化を回避します。
(2)推定器は統計的に効率的です。
(3)推定器が最適な交絡 – 強いポリシーにつながることを証明します。
最後に、私たちの理論は、観察されていない交絡の下で、つまり標準的なケアなどのベースラインポリシーが利用可能な場合、政策改善の関連するタスクに拡張します。
合成および実世界のデータを使用した実験で、この方法は単純なプラグインアプローチと既存のベースラインよりも優れていることを示しています。
私たちの方法は、ヘルスケアや公共政策など、観察されていない交絡が問題になる可能性がある意思決定に非常に関連しています。

要約(オリジナル)

We develop a novel method for personalized off-policy learning in scenarios with unobserved confounding. Thereby, we address a key limitation of standard policy learning: standard policy learning assumes unconfoundedness, meaning that no unobserved factors influence both treatment assignment and outcomes. However, this assumption is often violated, because of which standard policy learning produces biased estimates and thus leads to policies that can be harmful. To address this limitation, we employ causal sensitivity analysis and derive a statistically efficient estimator for a sharp bound on the value function under unobserved confounding. Our estimator has three advantages: (1) Unlike existing works, our estimator avoids unstable minimax optimization based on inverse propensity weighted outcomes. (2) Our estimator is statistically efficient. (3) We prove that our estimator leads to the optimal confounding-robust policy. Finally, we extend our theory to the related task of policy improvement under unobserved confounding, i.e., when a baseline policy such as the standard of care is available. We show in experiments with synthetic and real-world data that our method outperforms simple plug-in approaches and existing baselines. Our method is highly relevant for decision-making where unobserved confounding can be problematic, such as in healthcare and public policy.

arxiv情報

著者 Konstantin Hess,Dennis Frauen,Valentyn Melnychuk,Stefan Feuerriegel
発行日 2025-02-18 16:42:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Efficient and Sharp Off-Policy Learning under Unobserved Confounding はコメントを受け付けていません

Fragility-aware Classification for Understanding Risk and Improving Generalization

要約

分類モデルは、医療診断、ユーザープロファイリング、推奨システム、デフォルト検出などのデータ駆動型の意思決定アプリケーションで重要な役割を果たします。
精度などの従来のパフォーマンスメトリックは、全体的なエラー率に焦点を当てていますが、誤った予測の信頼を考慮していないため、自信のある誤解のリスクを見落としています。
このリスクは、医療診断や自律運転などの費用に敏感で安全性が高いドメインで特に重要です。
この問題に対処するために、自信のある誤判断の尾のリスクを明示的にキャプチャすることにより、リスク回避の観点から分類パフォーマンスを評価する新しいメトリックである脆弱性指数(FI)を導入します。
一般化可能性を高めるために、データの不確実性を組み込んだ堅牢な満足(RS)フレームワーク内でFIを定義します。
さらに、一般的な損失関数の扱いやすさを維持しながら、FIを最適化するモデルトレーニングアプローチを開発します。
具体的には、エントロピーの喪失、ヒンジ型損失、リプシッツ損失のための正確な再定式化を導き出し、深い学習モデルへのアプローチを拡張します。
合成実験と現実世界の医療診断タスクを通じて、FIは誤判断リスクを効果的に特定し、FIベースのトレーニングがモデルの堅牢性と一般化可能性を改善することを実証します。
最後に、フレームワークを深いニューラルネットワークトレーニングに拡張し、ディープラーニングモデルの強化における有効性をさらに検証します。

要約(オリジナル)

Classification models play a critical role in data-driven decision-making applications such as medical diagnosis, user profiling, recommendation systems, and default detection. Traditional performance metrics, such as accuracy, focus on overall error rates but fail to account for the confidence of incorrect predictions, thereby overlooking the risk of confident misjudgments. This risk is particularly significant in cost-sensitive and safety-critical domains like medical diagnosis and autonomous driving, where overconfident false predictions may cause severe consequences. To address this issue, we introduce the Fragility Index (FI), a novel metric that evaluates classification performance from a risk-averse perspective by explicitly capturing the tail risk of confident misjudgments. To enhance generalizability, we define FI within the robust satisficing (RS) framework, incorporating data uncertainty. We further develop a model training approach that optimizes FI while maintaining tractability for common loss functions. Specifically, we derive exact reformulations for cross-entropy loss, hinge-type loss, and Lipschitz loss, and extend the approach to deep learning models. Through synthetic experiments and real-world medical diagnosis tasks, we demonstrate that FI effectively identifies misjudgment risk and FI-based training improves model robustness and generalizability. Finally, we extend our framework to deep neural network training, further validating its effectiveness in enhancing deep learning models.

arxiv情報

著者 Chen Yang,Zheng Cui,Daniel Zhuoyu Long,Jin Qi,Ruohan Zhan
発行日 2025-02-18 16:44:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | Fragility-aware Classification for Understanding Risk and Improving Generalization はコメントを受け付けていません

$k$-Graph: A Graph Embedding for Interpretable Time Series Clustering

要約

時系列のクラスタリングは、ドメイン全体の多様なアプリケーションで大きな課題をもたらします。
既存のソリューションの顕著な欠点は、限られた解釈可能性にあり、多くの場合、ユーザーにCentroidを提示することに限定されます。
このギャップに対処する際、私たちの作品は、時系列クラスタリングで解釈可能性を増強するために明示的に作成された監視されていない方法である$ K $ -Graphを提示します。
時系列サブシーケンスのグラフ表現を活用すると、$ K $ -GRAPHは、異なるサブシーケンス長に基づいて複数のグラフ表現を構築します。
この機能は、ユーザーがサブシーケンスの長さを事前に決定することを要求することなく、さまざまな長さの時系列に対応します。
私たちの実験結果は、$ K $ -Graphが現在の最先端の時系列クラスタリングアルゴリズムを精度で上回ると同時に、クラスタリング結果の意味のある説明と解釈をユーザーに提供することを明らかにしています。

要約(オリジナル)

Time series clustering poses a significant challenge with diverse applications across domains. A prominent drawback of existing solutions lies in their limited interpretability, often confined to presenting users with centroids. In addressing this gap, our work presents $k$-Graph, an unsupervised method explicitly crafted to augment interpretability in time series clustering. Leveraging a graph representation of time series subsequences, $k$-Graph constructs multiple graph representations based on different subsequence lengths. This feature accommodates variable-length time series without requiring users to predetermine subsequence lengths. Our experimental results reveal that $k$-Graph outperforms current state-of-the-art time series clustering algorithms in accuracy, while providing users with meaningful explanations and interpretations of the clustering outcomes.

arxiv情報

著者 Paul Boniol,Donato Tiano,Angela Bonifati,Themis Palpanas
発行日 2025-02-18 16:59:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | $k$-Graph: A Graph Embedding for Interpretable Time Series Clustering はコメントを受け付けていません

Benchmarking MedMNIST dataset on real quantum hardware

要約

量子機械学習(QML)は、量子システムの計算機能を活用して複雑な分類タスクを解決する有望なドメインとして浮上しています。
この作業では、実用的な量子モデル(古典的なニューラルネットワークなし)の実現可能性とパフォーマンスを評価するために、MedMnist-Quit Real IBM Quantum Hardwareの医療画像データセットの多様なコレクションをベンチマークすることにより、最初の包括的なQML研究を提示します。
アプリケーション。
この研究では、デバイス認識量子回路、エラー抑制、医療画像分類のための緩和などの量子コンピューティングの最近の進歩を調査します。
私たちの方法論は、3つの段階で構成されています:前処理、ノイズ耐性およびハードウェア効率の高い量子回路の生成、古典的なハードウェア上の量子回路の最適化/トレーニング、および実際のIBM量子ハードウェアの推論。
まず、すべての入力画像を前処理段階で処理して、量子ハードウェアの制限により空間寸法を減らします。
医療画像分類のための複雑なパターンを学習するために表現できるバックエンドプロパティを使用して、ハードウェア効率の高い量子回路を生成します。
QMLモデルの古典的な最適化の後、実際の量子ハードウェアの推論を実行します。
また、QMLワークフローに、動的デカップリング(DD)、ゲートの回転、マトリックスフリーの測定緩和(M3)など、QMLワークフローに高度なエラー抑制と緩和手法を組み込み、ノイズの影響を軽減し、分類パフォーマンスを改善します。
実験結果は、医療イメージングの量子コンピューティングの可能性を示し、ヘルスケアに適用されるQMLの将来の進歩のベンチマークを確立します。

要約(オリジナル)

Quantum machine learning (QML) has emerged as a promising domain to leverage the computational capabilities of quantum systems to solve complex classification tasks. In this work, we present first comprehensive QML study by benchmarking the MedMNIST-a diverse collection of medical imaging datasets on a 127-qubit real IBM quantum hardware, to evaluate the feasibility and performance of quantum models (without any classical neural networks) in practical applications. This study explore recent advancements in quantum computing such as device-aware quantum circuits, error suppression and mitigation for medical image classification. Our methodology comprised of three stages: preprocessing, generation of noise-resilient and hardware-efficient quantum circuits, optimizing/training of quantum circuits on classical hardware, and inference on real IBM quantum hardware. Firstly, we process all input images in the preprocessing stage to reduce the spatial dimension due to the quantum hardware limitations. We generate hardware-efficient quantum circuits using backend properties expressible to learn complex patterns for medical image classification. After classical optimization of QML models, we perform the inference on real quantum hardware. We also incorporates advanced error suppression and mitigation techniques in our QML workflow including dynamical decoupling (DD), gate twirling, and matrix-free measurement mitigation (M3) to mitigate the effects of noise and improve classification performance. The experimental results showcase the potential of quantum computing for medical imaging and establishes a benchmark for future advancements in QML applied to healthcare.

arxiv情報

著者 Gurinder Singh,Hongni Jin,Kenneth M. Merz Jr
発行日 2025-02-18 17:02:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, quant-ph | Benchmarking MedMNIST dataset on real quantum hardware はコメントを受け付けていません

A Neural Difference-of-Entropies Estimator for Mutual Information

要約

特定のモデリング仮定のないランダム量の依存性の重要な尺度である相互情報(MI)の推定は、高次元での困難な問題です。
正規化フローを使用したパラメーター化条件密度に基づいた新しい相互情報推定器を提案します。これは、近年人気を博している深い生成モデルです。
この推定器は、ブロックの自己回帰構造を活用して、標準ベンチマークタスクでのバイアス分散トレードオフの改善を実現します。

要約(オリジナル)

Estimating Mutual Information (MI), a key measure of dependence of random quantities without specific modelling assumptions, is a challenging problem in high dimensions. We propose a novel mutual information estimator based on parametrizing conditional densities using normalizing flows, a deep generative model that has gained popularity in recent years. This estimator leverages a block autoregressive structure to achieve improved bias-variance trade-offs on standard benchmark tasks.

arxiv情報

著者 Haoran Ni,Martin Lotz
発行日 2025-02-18 17:48:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IT, cs.LG, math.IT, stat.ML | A Neural Difference-of-Entropies Estimator for Mutual Information はコメントを受け付けていません

tn4ml: Tensor Network Training and Customization for Machine Learning

要約

テンソルネットワークは、基礎科学の機械学習の課題に対処するためのニューラルネットワークの顕著な代替品として浮上し、実際の問題への応用の道を開いています。
このペーパーでは、テンソルネットワークを機械学習タスクの最適化パイプラインにシームレスに統合するように設計された新しいライブラリであるTN4MLを紹介します。
既存の機械学習フレームワークに触発されたこのライブラリは、多様な最適化戦略を使用して、データの埋め込み、目的関数定義、モデルトレーニング用のモジュールを備えたユーザーフレンドリーな構造を提供します。
2つの例を使用してその汎用性を示します。表形式データに関する監視された学習と、画像データセットでの監視されていない学習です。
さらに、テンソルネットワークの機械学習パイプラインのパーツをカスタマイズすることがパフォーマンスメトリックにどのように影響するかを分析します。

要約(オリジナル)

Tensor Networks have emerged as a prominent alternative to neural networks for addressing Machine Learning challenges in foundational sciences, paving the way for their applications to real-life problems. This paper introduces tn4ml, a novel library designed to seamlessly integrate Tensor Networks into optimization pipelines for Machine Learning tasks. Inspired by existing Machine Learning frameworks, the library offers a user-friendly structure with modules for data embedding, objective function definition, and model training using diverse optimization strategies. We demonstrate its versatility through two examples: supervised learning on tabular data and unsupervised learning on an image dataset. Additionally, we analyze how customizing the parts of the Machine Learning pipeline for Tensor Networks influences performance metrics.

arxiv情報

著者 Ema Puljak,Sergio Sanchez-Ramirez,Sergi Masot-Llima,Jofre Vallès-Muns,Artur Garcia-Saez,Maurizio Pierini
発行日 2025-02-18 17:57:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.MS, quant-ph | tn4ml: Tensor Network Training and Customization for Machine Learning はコメントを受け付けていません