Inverse Mixed Strategy Games with Generative Trajectory Models

投稿日: 2025年2月6日 作成者: jarxiv

要約

ゲーム理論モデルは、特にロボットが人間と調整する必要がある場合、マルチエージェント相互作用をモデル化するための効果的なツールです。
ただし、これらのモデルを適用するには、観測された動作から仕様を推測する必要があります。これは、逆ゲームの問題として知られる挑戦的なタスクです。
既存の逆ゲームアプローチは、行動の不確実性と測定ノイズを説明し、オフラインデータとオンラインデータの両方を活用するのに苦労しています。
これらの制限に対処するために、生成的軌道モデルを微分可能な混合戦略ゲームフレームワークに統合する逆ゲーム方法を提案します。
混合戦略を条件付き変異オートエンコーダー（CVAE）と表現することにより、我々の方法は、リアルタイムで新しい観測に適応しながら、騒々しい測定から高次元のマルチモーダルな動作分布を推測できます。
シミュレートされたナビゲーションベンチマークでメソッドを広範囲に評価します。そこでは、未知のゲームモデルによって観測が生成されます。
モデルの不一致にもかかわらず、私たちの方法は、不確実なエージェントの目的や騒々しい測定が存在する場合でも、グラウンドトゥルースモデルおよびOracle逆ゲームベースラインのアクションに匹敵するナッシュ最適なアクションを推測できます。

要約(オリジナル)

Game-theoretic models are effective tools for modeling multi-agent interactions, especially when robots need to coordinate with humans. However, applying these models requires inferring their specifications from observed behaviors — a challenging task known as the inverse game problem. Existing inverse game approaches often struggle to account for behavioral uncertainty and measurement noise, and leverage both offline and online data. To address these limitations, we propose an inverse game method that integrates a generative trajectory model into a differentiable mixed-strategy game framework. By representing the mixed strategy with a conditional variational autoencoder (CVAE), our method can infer high-dimensional, multi-modal behavior distributions from noisy measurements while adapting in real-time to new observations. We extensively evaluate our method in a simulated navigation benchmark, where the observations are generated by an unknown game model. Despite the model mismatch, our method can infer Nash-optimal actions comparable to those of the ground-truth model and the oracle inverse game baseline, even in the presence of uncertain agent objectives and noisy measurements.

arxiv情報

著者 Max Muchen Sun,Pete Trautman,Todd Murphey
発行日 2025-02-05 16:53:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Inverse Mixed Strategy Games with Generative Trajectory Models はコメントを受け付けていません

ToddlerBot: Open-Source ML-Compatible Humanoid Platform for Loco-Manipulation

投稿日: 2025年2月6日 作成者: jarxiv

要約

データに基づいた学習ベースのロボット研究では、ポリシー実行のプラットフォームと具体化されたデータ収集のためのトレーニングのためのツールの両方として機能するロボットハードウェアデザインへの新しいアプローチが必要です。
ロボット工学とAIのスケーラブルなポリシー学習と研究のために設計された低コストのオープンソースヒューマノイドロボットプラットフォームであるToddlerbotを紹介します。
Toddlerbotは、高品質のシミュレーションと実際のデータのシームレスな取得を可能にします。
プラグアンドプレイのゼロポイントキャリブレーションと転送可能なモーターシステムの識別により、高忠実度のデジタルツインが保証され、シミュレーションから現実世界へのゼロショットポリシー転送が可能になります。
ユーザーフレンドリーなテレオ操作インターフェイスは、人間のデモンストレーションから運動能力を学習するための合理化された現実世界のデータ収集を促進します。
データ収集能力と擬人化された設計を利用して、Toddlerbotは全身の局所操作を実行するのに理想的なプラットフォームです。
さらに、Toddlerbotのコンパクトサイズ（0.56m、3.4kg）は、実際の環境で安全な動作を保証します。
完全に3Dプリントされたオープンソース設計と市販のコンポーネントで再現性が実現され、総コストを6,000米ドル未満に保ちます。
包括的なドキュメントにより、システムの独立した複製が成功したことで検証されているように、基本的な技術的専門知識を備えた組み立てとメンテナンスが可能になります。
アームスパン、ペイロード、持久力テスト、局所操作タスク、および2つのロボットが一緒におもちゃのセッションを整理するコラボレーションの長老様式のシナリオを通じて、幼児の能力を示します。
MLの適合性、能力、および再現性を進めることにより、Robotics Researchにおけるスケーラブルな学習と動的なポリシー実行のための堅牢なプラットフォームを提供します。

要約(オリジナル)

Learning-based robotics research driven by data demands a new approach to robot hardware design-one that serves as both a platform for policy execution and a tool for embodied data collection to train policies. We introduce ToddlerBot, a low-cost, open-source humanoid robot platform designed for scalable policy learning and research in robotics and AI. ToddlerBot enables seamless acquisition of high-quality simulation and real-world data. The plug-and-play zero-point calibration and transferable motor system identification ensure a high-fidelity digital twin, enabling zero-shot policy transfer from simulation to the real world. A user-friendly teleoperation interface facilitates streamlined real-world data collection for learning motor skills from human demonstrations. Utilizing its data collection ability and anthropomorphic design, ToddlerBot is an ideal platform to perform whole-body loco-manipulation. Additionally, ToddlerBot’s compact size (0.56m, 3.4kg) ensures safe operation in real-world environments. Reproducibility is achieved with an entirely 3D-printed, open-source design and commercially available components, keeping the total cost under 6,000 USD. Comprehensive documentation allows assembly and maintenance with basic technical expertise, as validated by a successful independent replication of the system. We demonstrate ToddlerBot’s capabilities through arm span, payload, endurance tests, loco-manipulation tasks, and a collaborative long-horizon scenario where two robots tidy a toy session together. By advancing ML-compatibility, capability, and reproducibility, ToddlerBot provides a robust platform for scalable learning and dynamic policy execution in robotics research.

arxiv情報

著者 Haochen Shi,Weizhuo Wang,Shuran Song,C. Karen Liu
発行日 2025-02-05 18:53:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | ToddlerBot: Open-Source ML-Compatible Humanoid Platform for Loco-Manipulation はコメントを受け付けていません

Kineto-Dynamical Planning and Accurate Execution of Minimum-Time Maneuvers on Three-Dimensional Circuits

投稿日: 2025年2月6日 作成者: jarxiv

要約

3次元（3D）サーキットでの最小時間操作のオンライン計画と実行は、自律的な車両レースのオープンな課題です。
このホワイトペーパーでは、車両のダイナミクスを学習し、3Dトラックで最小時間操作を計画および実行するために、人工レースドライバー（ARD）を紹介します。
ARDは、経済的非線形モデル予測制御（E-NMPC）を使用して、軌道計画のための新しい動態型（KD）車両モデルを統合します。
高忠実度の車両シミュレーター（VS）を使用して、閉ループARDの結果を最小限の時間最適コントロール問題（MLT-V）と比較し、同じVsでオフラインで解決しました。
私たちのARDは、ラップタイムをMLT-VSに近づけ、新しいKDモデルは文献ベンチマークよりも優れています。
最後に、実行エラー下でのARDの再計画機能を評価するために、車両の軌跡を研究します。
主な結果を含むビデオは、補足資料として入手できます。

要約(オリジナル)

Online planning and execution of minimum-time maneuvers on three-dimensional (3D) circuits is an open challenge in autonomous vehicle racing. In this paper, we present an artificial race driver (ARD) to learn the vehicle dynamics, plan and execute minimum-time maneuvers on a 3D track. ARD integrates a novel kineto-dynamical (KD) vehicle model for trajectory planning with economic nonlinear model predictive control (E-NMPC). We use a high-fidelity vehicle simulator (VS) to compare the closed-loop ARD results with a minimum-lap-time optimal control problem (MLT-VS), solved offline with the same VS. Our ARD sets lap times close to the MLT-VS, and the new KD model outperforms a literature benchmark. Finally, we study the vehicle trajectories, to assess the re-planning capabilities of ARD under execution errors. A video with the main results is available as supplementary material.

arxiv情報

著者 Mattia Piccinini,Sebastiano Taddei,Johannes Betz,Francesco Biral
発行日 2025-02-05 18:53:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Kineto-Dynamical Planning and Accurate Execution of Minimum-Time Maneuvers on Three-Dimensional Circuits はコメントを受け付けていません

PaPaGei: Open Foundation Models for Optical Physiological Signals

投稿日: 2025年2月6日 作成者: jarxiv

要約

フォトプレチスモグラフィ（PPG）は、バイオシグナルと心血管の健康を監視するための主要な非侵襲的手法であり、臨床環境と消費者ウェアラブルデバイスの両方で広範囲に採用されています。
PPG信号でトレーニングされた機械学習モデルは約束を示していますが、タスク固有であり、一般化に苦労する傾向があります。
現在の研究は、単一デバイスのデータセットの使用、領域外の一般化の不十分な調査、および再現性を妨げる公的に利用可能なモデルの欠如によって制限されています。
これらの制限に対処するために、PPG信号の最初のオープンファンデーションモデルであるPapageiを提示します。
このモデルは、57,000時間以上のデータで事前に訓練されており、公開されているデータセットから2,000万個の非標識PPGセグメントを含む。
個人間でPPGシグナルの形態に関するドメインの知識を活用する新しい表現学習アプローチを紹介し、従来の対照学習方法と比較してより豊富な表現をキャプチャできるようにします。
心血管系の健康、睡眠障害、妊娠監視、福祉の評価にまたがる10の多様なデータセットからの20のタスクにわたる最先端の時系列財団モデルと自己監視学習ベンチマークに対してPapageiを評価します。
私たちのモデルは、優れたパフォーマンスを実証し、少なくとも14のタスクでそれぞれ分類と回帰メトリックを改善します。
特に、Papageiはこれらの結果を達成しながら、よりデータとパラメーター効率の良い、70倍の大きいモデルであるモデルです。
精度を超えて、さまざまなスキントーンにわたるモデルの堅牢性を調べ、将来のモデルでのバイアス評価のベンチマークを確立します。
Papageiは、マルチモーダルモデル用の特徴抽出器とエンコーダーの両方として機能し、マルチモーダルヘルスモニタリングの新しい機会を開きます。

要約(オリジナル)

Photoplethysmography (PPG) is the leading non-invasive technique for monitoring biosignals and cardiovascular health, with widespread adoption in both clinical settings and consumer wearable devices. While machine learning models trained on PPG signals have shown promise, they tend to be task-specific and struggle with generalization. Current research is limited by the use of single-device datasets, insufficient exploration of out-of-domain generalization, and a lack of publicly available models, which hampers reproducibility. To address these limitations, we present PaPaGei, the first open foundation model for PPG signals. The model is pre-trained on over 57,000 hours of data, comprising 20 million unlabeled PPG segments from publicly available datasets. We introduce a novel representation learning approach that leverages domain knowledge of PPG signal morphology across individuals, enabling the capture of richer representations compared to traditional contrastive learning methods. We evaluate PaPaGei against state-of-the-art time-series foundation models and self-supervised learning benchmarks across 20 tasks from 10 diverse datasets, spanning cardiovascular health, sleep disorders, pregnancy monitoring, and wellbeing assessment. Our model demonstrates superior performance, improving classification and regression metrics by 6.3% and 2.9% respectively in at least 14 tasks. Notably, PaPaGei achieves these results while being more data- and parameter-efficient, outperforming models that are 70x larger. Beyond accuracy, we examine model robustness across different skin tones, establishing a benchmark for bias evaluation in future models. PaPaGei can serve as both a feature extractor and an encoder for multimodal models, opening up new opportunities for multimodal health monitoring.

arxiv情報

著者 Arvind Pillai,Dimitris Spathis,Fahim Kawsar,Mohammad Malekzadeh
発行日 2025-02-05 16:14:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.SP | PaPaGei: Open Foundation Models for Optical Physiological Signals はコメントを受け付けていません

Randomness, exchangeability, and conformal prediction

投稿日: 2025年2月6日 作成者: jarxiv

要約

このホワイトペーパーでは、ランダム性の機能理論の発達、不特定の添加剤定数を取り除くランダム性のアルゴリズム理論の修正を続けています。
ランダム性予測因子（IID観測の仮定に基づいた最も一般的な信頼予測因子）や交換可能性予測因子（交換可能な観測の仮定に基づく最も一般的な信頼予測因子）を含む、新しい種類の信頼性予測因子を導入します。
主な結果は、両方がコンフォーマル予測因子に近いことを意味し、ランダム性予測とコンフォーマル予測の違いを定量化することを意味します。

要約(オリジナル)

This paper continues development of the functional theory of randomness, a modification of the algorithmic theory of randomness getting rid of unspecified additive constants. It introduces new kinds of confidence predictors, including randomness predictors (the most general confidence predictors based on the assumption of IID observations) and exchangeability predictors (the most general confidence predictors based on the assumption of exchangeable observations). The main result implies that both are close to conformal predictors and quantifies the difference between randomness prediction and conformal prediction.

arxiv情報

著者 Vladimir Vovk
発行日 2025-02-05 16:21:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: (Primary), 03D32, 68T05, cs.LG, math.ST, stat.ML, stat.TH | Randomness, exchangeability, and conformal prediction はコメントを受け付けていません

Is In-Context Universality Enough? MLPs are Also Universal In-Context

投稿日: 2025年2月6日 作成者: jarxiv

要約

トランスの成功は、多くの場合、コンテキスト内学習を実行する能力にリンクされています。
最近の研究は、変圧器がコンテキストが普遍的であり、コンテキストの実質値の連続関数を近似できることを示しています（$ \ mathcal {x} \ subseteq \ mathbb {r}^d $を超える確率測定）およびクエリ$ x \
in \ mathcal {x} $。
これは疑問を提起します：コンテキスト内の普遍性は古典的なモデルよりも彼らの利点を説明していますか？
トレーニング可能なアクティベーション関数を備えたMLPも普遍的なコンテキストであることを証明することにより、ネガティブでこれに答えます。
これは、変圧器の成功は、帰納的バイアスやトレーニングの安定性などの他の要因による可能性が高いことを示唆しています。

要約(オリジナル)

The success of transformers is often linked to their ability to perform in-context learning. Recent work shows that transformers are universal in context, capable of approximating any real-valued continuous function of a context (a probability measure over $\mathcal{X}\subseteq \mathbb{R}^d$) and a query $x\in \mathcal{X}$. This raises the question: Does in-context universality explain their advantage over classical models? We answer this in the negative by proving that MLPs with trainable activation functions are also universal in-context. This suggests the transformer’s success is likely due to other factors like inductive bias or training stability.

arxiv情報

著者 Anastasis Kratsios,Takashi Furuya
発行日 2025-02-05 16:22:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, cs.NE, math.NA, math.PR, stat.ML | Is In-Context Universality Enough? MLPs are Also Universal In-Context はコメントを受け付けていません

A Mixture-Based Framework for Guiding Diffusion Models

投稿日: 2025年2月6日 作成者: jarxiv

要約

拡散モデルの除去により、ベイジアンの逆の問題の分野で大きな進歩が促進されました。
最近のアプローチでは、事前に訓練された拡散モデルを事前に使用して、このような問題の広範な問題を解決し、推論時間計算のみを活用して、同じデータセットでタスク固有のモデルを再操作する必要性を排除します。
ベイジアンの逆問題の後方に近似するために、拡散モデルは一連の中間後部分布からサンプルし、それぞれが難治性の尤度関数を備えています。
この作業は、これらの中間分布の新しい混合近似を提案しています。
これらの混合物の直接勾配ベースのサンプリングは、扱いにくい用語のために実行不可能であるため、GIBBSサンプリングに基づいた実用的な方法を提案します。
画像の逆問題に関する広範な実験を通じて、ピクセルと潜在スペースの両方の拡散前と、オーディオ拡散モデルを使用したソース分離でアプローチを検証します。
このコードは、https：//www.github.com/badr-moufad/mgdmで入手できます

要約(オリジナル)

Denoising diffusion models have driven significant progress in the field of Bayesian inverse problems. Recent approaches use pre-trained diffusion models as priors to solve a wide range of such problems, only leveraging inference-time compute and thereby eliminating the need to retrain task-specific models on the same dataset. To approximate the posterior of a Bayesian inverse problem, a diffusion model samples from a sequence of intermediate posterior distributions, each with an intractable likelihood function. This work proposes a novel mixture approximation of these intermediate distributions. Since direct gradient-based sampling of these mixtures is infeasible due to intractable terms, we propose a practical method based on Gibbs sampling. We validate our approach through extensive experiments on image inverse problems, utilizing both pixel- and latent-space diffusion priors, as well as on source separation with an audio diffusion model. The code is available at https://www.github.com/badr-moufad/mgdm

arxiv情報

著者 Yazid Janati,Badr Moufad,Mehdi Abou El Qassime,Alain Durmus,Eric Moulines,Jimmy Olsson
発行日 2025-02-05 16:26:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | A Mixture-Based Framework for Guiding Diffusion Models はコメントを受け付けていません

Interaction-Aware Gaussian Weighting for Clustered Federated Learning

投稿日: 2025年2月6日 作成者: jarxiv

要約

連邦学習（FL）は、プライバシーを維持しながらモデルを訓練するための分散型パラダイムとして浮上しました。
ただし、従来のFLは、モデルのパフォーマンスを低下させるデータの不均一性とクラスの不均衡と闘っています。
クラスター化されたFLは、クライアントを類似のデータ分布とグループ化することにより、パーソナライズと分散トレーニングをバランスさせ、プライバシーの制約を順守しながら精度を向上させます。
このアプローチは、FLの不均一性の悪影響を効果的に軽減します。
この作業では、データ分布に基づいてクライアントをグループ化する新しいクラスターFLメソッド（フェデレートガウス重み付けクラスタリング）を提案し、特定されたクラスターでより堅牢でパーソナライズされたモデルのトレーニングを可能にします。
FEDGWCは、個々の経験的損失をガウスの相互作用とガウス報酬メカニズムとモデル化するように変換することにより、均質なクラスターを特定します。
さらに、FLの新しいクラスタリングメトリックであるWasserstein Adustedスコアを導入して、個々のクラス分布に関するクラスターの結束を評価します。
ベンチマークデータセットでの実験は、FEDGWCがクラスターの品質と分類の精度で既存のFLアルゴリズムを上回り、アプローチの有効性を検証することを示しています。

要約(オリジナル)

Federated Learning (FL) emerged as a decentralized paradigm to train models while preserving privacy. However, conventional FL struggles with data heterogeneity and class imbalance, which degrade model performance. Clustered FL balances personalization and decentralized training by grouping clients with analogous data distributions, enabling improved accuracy while adhering to privacy constraints. This approach effectively mitigates the adverse impact of heterogeneity in FL. In this work, we propose a novel clustered FL method, FedGWC (Federated Gaussian Weighting Clustering), which groups clients based on their data distribution, allowing training of a more robust and personalized model on the identified clusters. FedGWC identifies homogeneous clusters by transforming individual empirical losses to model client interactions with a Gaussian reward mechanism. Additionally, we introduce the Wasserstein Adjusted Score, a new clustering metric for FL to evaluate cluster cohesion with respect to the individual class distribution. Our experiments on benchmark datasets show that FedGWC outperforms existing FL algorithms in cluster quality and classification accuracy, validating the efficacy of our approach.

arxiv情報

著者 Alessandro Licciardi,Davide Leo,Eros Faní,Barbara Caputo,Marco Ciccone
発行日 2025-02-05 16:33:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Interaction-Aware Gaussian Weighting for Clustered Federated Learning はコメントを受け付けていません

Optimal Task Order for Continual Learning of Multiple Tasks

投稿日: 2025年2月6日 作成者: jarxiv

要約

複数のタスクの継続的な学習は、神経ネットワークにとって大きな課題のままです。
ここでは、タスクオーダーが継続的な学習にどのように影響するかを調査し、それを最適化するための戦略を提案します。
潜在的な要因を備えた線形の教師学生モデルを活用すると、タスクの類似性と順序付けを学習パフォーマンスに関連付ける分析的な表現を導き出します。
分析では、幅広いパラメーター範囲の下にある2つの原則が明らかになりました。（1）タスクは、最も代表的なものから最も典型的なものに配置する必要があり、（2）隣接するタスクは異なる必要があります。
合成データと現実世界の画像分類データセット（Fashion-Mnist、CIFAR-10、CIFAR-100）の両方でこれらのルールを検証し、多層パーセプトロンと畳み込みニューラルネットワークの両方で一貫したパフォーマンスの改善を示します。
したがって、私たちの仕事は、タスクインクリメンタルの継続的な学習におけるタスクオーダーの最適化のための一般化可能なフレームワークを提示します。

要約(オリジナル)

Continual learning of multiple tasks remains a major challenge for neural networks. Here, we investigate how task order influences continual learning and propose a strategy for optimizing it. Leveraging a linear teacher-student model with latent factors, we derive an analytical expression relating task similarity and ordering to learning performance. Our analysis reveals two principles that hold under a wide parameter range: (1) tasks should be arranged from the least representative to the most typical, and (2) adjacent tasks should be dissimilar. We validate these rules on both synthetic data and real-world image classification datasets (Fashion-MNIST, CIFAR-10, CIFAR-100), demonstrating consistent performance improvements in both multilayer perceptrons and convolutional neural networks. Our work thus presents a generalizable framework for task-order optimization in task-incremental continual learning.

arxiv情報

著者 Ziyan Li,Naoki Hiratani
発行日 2025-02-05 16:43:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Optimal Task Order for Continual Learning of Multiple Tasks はコメントを受け付けていません

Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention

投稿日: 2025年2月6日 作成者: jarxiv

要約

最近の最先端の機械学習モデルのサイズの爆発的な成長は、生成事前訓練トランス（GPT）の場合のように数兆に成長した指数関数的なパラメーターの成長が、につながる有名な問題を強調しています。
トレーニング時間とメモリの要件は、短期的に進歩を制限します。
支配的なモデルは、いわゆるトランスネットワークを使用し、テキストと画像の予測、分類、物理システムのダイナミクスに対するソリューションの予測など、適用可能性の大きな分野を持っています。
ここでは、変圧器ネットワークの類似の操作を実行するキュービットのネットワーク、すなわちキーストーンの自己攻撃操作を実行し、パラメーターの指数関数的改善につながるQUBITSのネットワークを構築する自己攻撃シーケンシャル量子変圧器チャネル（SASQUATCH）という名前の変動量子回路アーキテクチャを紹介します。
その古典的なカウンターパートに対する複雑さとランタイムの複雑さ。
私たちのアプローチは、単純なゲート操作と多次元量子フーリエ変換のセットを使用して、視覚変圧器ネットワークの深い層を表すために空間的システムを予測するというコンテキストで、カーネルベースのオペレーター学習からの最近の洞察を活用しています。
アプローチを検証するために、シミュレーションおよびハードウェアの画像分類タスクを検討します。ここでは、9つのキュービットとほんの一握りのパラメーターだけで、手書きの数字のグレースケール画像を同時に埋め込んで分類できます。

要約(オリジナル)

The recent exploding growth in size of state-of-the-art machine learning models highlights a well-known issue where exponential parameter growth, which has grown to trillions as in the case of the Generative Pre-trained Transformer (GPT), leads to training time and memory requirements which limit their advancement in the near term. The predominant models use the so-called transformer network and have a large field of applicability, including predicting text and images, classification, and even predicting solutions to the dynamics of physical systems. Here we present a variational quantum circuit architecture named Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh), which builds networks of qubits that perform analogous operations of the transformer network, namely the keystone self-attention operation, and leads to an exponential improvement in parameter complexity and run-time complexity over its classical counterpart. Our approach leverages recent insights from kernel-based operator learning in the context of predicting spatiotemporal systems to represent deep layers of a vision transformer network using simple gate operations and a set of multi-dimensional quantum Fourier transforms. To validate our approach, we consider image classification tasks in simulation and with hardware, where with only 9 qubits and a handful of parameters we are able to simultaneously embed and classify a grayscale image of handwritten digits with high accuracy.

arxiv情報

著者 Ethan N. Evans,Matthew Cook,Zachary P. Bradshaw,Margarite L. LaBorde
発行日 2025-02-05 16:56:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, quant-ph | Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention はコメントを受け付けていません