Data-driven Modality Fusion: An AI-enabled Framework for Large-Scale Sensor Network Management

投稿日: 2025年2月10日 作成者: jarxiv

要約

スマートシティの開発と運用は、都市環境のさまざまな側面を継続的に監視する大規模なインターネット（IoT）ネットワークとセンサーインフラストラクチャに依存しています。
これらのネットワークは膨大な量のデータを生成し、帯域幅の使用、エネルギー消費、システムのスケーラビリティに関連する課題を提起します。
このペーパーでは、Smart City IoTネットワーク管理の効率を高めるために設計された、データ駆動型モダリティ融合（DMF）と呼ばれる新しいセンシングパラダイムを紹介します。
異なるセンシングモダリティからのタイムリーデータ間の相関を活用することにより、提案されたDMFアプローチは、監視に必要な物理センサーの数を減らし、それによりエネルギー消費、通信帯域幅、および全体的な展開コストを最小限に抑えます。
このフレームワークは、計算の複雑さをエッジデバイスからコアに再配置し、リソース制約のあるIoTデバイスに集中的な処理タスクが負担されないようにします。
DMFは、マドリードでの実際のIoT展開からのデータを使用して検証され、還元センサーのセットからのトラフィック、環境、および汚染メトリックの正確な推定における提案されたシステムの有効性を実証します。
提案されたソリューションは、センサーの障害とプライバシーの懸念の問題に対処しながら、都市のIoTネットワークを管理するためのスケーラブルで効率的なメカニズムを提供します。

要約(オリジナル)

The development and operation of smart cities relyheavily on large-scale Internet-of-Things (IoT) networks and sensor infrastructures that continuously monitor various aspects of urban environments. These networks generate vast amounts of data, posing challenges related to bandwidth usage, energy consumption, and system scalability. This paper introduces a novel sensing paradigm called Data-driven Modality Fusion (DMF), designed to enhance the efficiency of smart city IoT network management. By leveraging correlations between timeseries data from different sensing modalities, the proposed DMF approach reduces the number of physical sensors required for monitoring, thereby minimizing energy expenditure, communication bandwidth, and overall deployment costs. The framework relocates computational complexity from the edge devices to the core, ensuring that resource-constrained IoT devices are not burdened with intensive processing tasks. DMF is validated using data from a real-world IoT deployment in Madrid, demonstrating the effectiveness of the proposed system in accurately estimating traffic, environmental, and pollution metrics from a reduced set of sensors. The proposed solution offers a scalable, efficient mechanism for managing urban IoT networks, while addressing issues of sensor failure and privacy concerns.

arxiv情報

著者 Hrishikesh Dutta,Roberto Minerva,Maira Alvi,Noel Crespi
発行日 2025-02-07 14:00:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.NI | Data-driven Modality Fusion: An AI-enabled Framework for Large-Scale Sensor Network Management はコメントを受け付けていません

The Rising Threat to Emerging AI-Powered Search Engines

投稿日: 2025年2月10日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の最近の進歩により、AI搭載の検索エンジン（AIPS）の機能が大幅に向上し、外部データベースに既存の知識を統合することにより、正確で効率的な応答を提供します。
ただし、これらのAIPSは、悪意のあるコンテンツを引用したり、悪意のあるWebサイトを引用したりするなどのリスクを引き起こし、有害または未検証の情報普及につながることがわかります。
この研究では、脅威モデル、リスクレベル、さまざまなクエリタイプへの応答を体系的に定義することにより、7つの生産AIPSESで最初の安全リスクの定量化を実施します。
Phishtank、Threatbook、およびLevelblueから収集されたデータにより、AIPSは良性クエリ（例えば、良性キーワードを使用するなど）でさえ、悪意のあるURLを含む有害なコンテンツを頻繁に生成することが頻繁に生成されます。
また、直接クエリURLがリスクレベルを上げ、自然言語でクエリがそのようなリスクを軽減することも観察します。
さらに、オンラインドキュメントスプーフィングとフィッシングに関する2つのケーススタディを実行して、実際の設定でAIPSを欺く容易さを示します。
これらのリスクを緩和するために、GPT-4Oベースのコンテンツ改良ツールとXGBoostベースのURL検出器を使用して、エージェントベースの防御を開発します。
私たちの評価は、私たちの防衛がリスクを効果的に減らすことができるが、利用可能な情報を削減するコストであることを示しています。
私たちの研究は、AIPSの堅牢な安全対策に対する緊急の必要性を強調しています。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have significantly enhanced the capabilities of AI-Powered Search Engines (AIPSEs), offering precise and efficient responses by integrating external databases with pre-existing knowledge. However, we observe that these AIPSEs raise risks such as quoting malicious content or citing malicious websites, leading to harmful or unverified information dissemination. In this study, we conduct the first safety risk quantification on seven production AIPSEs by systematically defining the threat model, risk level, and evaluating responses to various query types. With data collected from PhishTank, ThreatBook, and LevelBlue, our findings reveal that AIPSEs frequently generate harmful content that contains malicious URLs even with benign queries (e.g., with benign keywords). We also observe that directly query URL will increase the risk level while query with natural language will mitigate such risk. We further perform two case studies on online document spoofing and phishing to show the ease of deceiving AIPSEs in the real-world setting. To mitigate these risks, we develop an agent-based defense with a GPT-4o-based content refinement tool and an XGBoost-based URL detector. Our evaluation shows that our defense can effectively reduce the risk but with the cost of reducing available information. Our research highlights the urgent need for robust safety measures in AIPSEs.

arxiv情報

著者 Zeren Luo,Zifan Peng,Yule Liu,Zhen Sun,Mingchen Li,Jingyi Zheng,Xinlei He
発行日 2025-02-07 14:15:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR, cs.LG | The Rising Threat to Emerging AI-Powered Search Engines はコメントを受け付けていません

Fast Adaptive Anti-Jamming Channel Access via Deep Q Learning and Coarse-Grained Spectrum Prediction

投稿日: 2025年2月10日 作成者: jarxiv

要約

このホワイトペーパーでは、ジャマーが異なるチャネルをターゲットにするために戦略を動的に調整できる複雑で未知のジャミング環境におけるアンチジャミングチャネルアクセスの問題を調査します。
固定パターンを使用した従来のチャンネルホッピングアンチジャミングアプローチは、このような動的なジャミング攻撃に対して効果がありません。
新たなディープ補強学習（DRL）ベースの動的チャネルアクセスアプローチは、急速に変化するジャミング攻撃の下でナッシュ均衡を達成できますが、広範なトレーニングエピソードが必要です。
この問題に対処するために、「Jammerよりも速く学習する」という直観によって導かれる高速適応アンチジャミングチャネルアクセスアプローチを提案します。この場合、同期的に更新された粗粒スペクトル予測は、深いQ学習の補助タスクとして機能します（
DQN）ベースのジャミングアンチジャミングモデル。
これにより、モデルは標準のDRLと比較して優れたQ機能を特定しながら、トレーニングエピソードの数を大幅に削減できます。
数値結果は、提案されたアプローチがモデルトレーニングの収束率を大幅に加速し、標準のDRLと比較して必要なトレーニングエピソードを最大70％削減することを示しています。
さらに、粗粒スペクトル予測の効果的な使用により、NE戦略よりもスループットの10％の改善も達成されます。

要約(オリジナル)

This paper investigates the anti-jamming channel access problem in complex and unknown jamming environments, where the jammer could dynamically adjust its strategies to target different channels. Traditional channel hopping anti-jamming approaches using fixed patterns are ineffective against such dynamic jamming attacks. Although the emerging deep reinforcement learning (DRL) based dynamic channel access approach could achieve the Nash equilibrium under fast-changing jamming attacks, it requires extensive training episodes. To address this issue, we propose a fast adaptive anti-jamming channel access approach guided by the intuition of “learning faster than the jammer’, where a synchronously updated coarse-grained spectrum prediction serves as an auxiliary task for the deep Q learning (DQN) based anti-jamming model. This helps the model identify a superior Q-function compared to standard DRL while significantly reducing the number of training episodes. Numerical results indicate that the proposed approach significantly accelerates the rate of convergence in model training, reducing the required training episodes by up to 70% compared to standard DRL. Additionally, it also achieves a 10% improvement in throughput over NE strategies, owing to the effective use of coarse-grained spectrum prediction.

arxiv情報

著者 Jianshu Zhang,Xiaofu Wu,Junquan Hu
発行日 2025-02-07 14:25:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Fast Adaptive Anti-Jamming Channel Access via Deep Q Learning and Coarse-Grained Spectrum Prediction はコメントを受け付けていません

Understanding Federated Learning from IID to Non-IID dataset: An Experimental Study

投稿日: 2025年2月10日 作成者: jarxiv

要約

プライバシーの懸念とデータ規制が拡大するにつれて、Federated Learning（FL）は、生データを共有せずに分散型データソースで機械学習モデルをトレーニングするための有望なアプローチとして浮上しています。
ただし、FLの重要な課題は、クライアントデータがしばしば非IID（非依存性と同一に分散されている）であり、集中学習と比較してパフォーマンスが低下することです。
この問題に対処するために多くの方法が提案されていますが、それらの根本的なメカニズムはしばしば異なる視点から見られます。
勾配降下からFL、およびIIDから非IIDデータ設定への包括的な調査を通じて、クライアントの損失ランドスケープの矛盾は、主に非IIDシナリオのパフォーマンスの低下を引き起こすことがわかります。
この理解から、既存の方法は2つの主要な戦略にグループ化できることを観察します。（i）パラメーターの更新パスの調整と（ii）クライアントの損失ランドスケープの変更。
これらの調査結果は、FLの非IID課題に対処することに関する明確な視点を提供し、この分野での将来の研究を導くのに役立ちます。

要約(オリジナル)

As privacy concerns and data regulations grow, federated learning (FL) has emerged as a promising approach for training machine learning models across decentralized data sources without sharing raw data. However, a significant challenge in FL is that client data are often non-IID (non-independent and identically distributed), leading to reduced performance compared to centralized learning. While many methods have been proposed to address this issue, their underlying mechanisms are often viewed from different perspectives. Through a comprehensive investigation from gradient descent to FL, and from IID to non-IID data settings, we find that inconsistencies in client loss landscapes primarily cause performance degradation in non-IID scenarios. From this understanding, we observe that existing methods can be grouped into two main strategies: (i) adjusting parameter update paths and (ii) modifying client loss landscapes. These findings offer a clear perspective on addressing non-IID challenges in FL and help guide future research in the field.

arxiv情報

著者 Jungwon Seo,Ferhat Ozgur Catak,Chunming Rong
発行日 2025-02-07 14:31:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.ML | Understanding Federated Learning from IID to Non-IID dataset: An Experimental Study はコメントを受け付けていません

Transferring Foundation Models for Generalizable Robotic Manipulation

投稿日: 2025年2月10日 作成者: jarxiv

要約

現実世界の汎用ロボット操作エージェントの一般化能力を改善することは、長い間重要な課題でした。
既存のアプローチは、RT-1データセットなど、費用と時間がかかる大規模なロボットデータの収集に依存することがよくあります。
ただし、データの多様性が不十分なため、これらのアプローチは通常、新しいオブジェクトと多様な環境を使用して、オープンドメインシナリオでの能力を制限することに苦しんでいます。
この論文では、ロボット操作タスクを条件付けるために、インターネットスケールの基礎モデルによって生成された言語継続セグメンテーションマスクを効果的に活用する新しいパラダイムを提案します。
ビジョンファンデーションモデルから導出されたセマンティック、幾何学、および時間的相関プライアーをエンドツーエンドのポリシーモデルに組み込むマスクモダリティを統合することにより、当社のアプローチは、オブジェクト効率の一般化学習を含むサンプル効率の一般化学習を効果的かつ堅牢に知覚することができます。
新しいオブジェクトインスタンス、セマンティックカテゴリ、目に見えない背景。
最初に、複数のタスクにわたって自然言語の需要を接地するための一連の基礎モデルを紹介します。
第二に、模倣学習に基づいた2ストリームの2Dポリシーモデルを開発します。これは、ローカルグローバルの知覚方法でロボットアクションを予測するために生の画像とオブジェクトマスクを処理します。
フランカエミカロボットアームで実施された広範な実験実験は、提案されたパラダイムと政策アーキテクチャの有効性を示しています。
デモは提出されたビデオに記載されており、より包括的なビデオはLink1またはLink2にあります。

要約(オリジナル)

Improving the generalization capabilities of general-purpose robotic manipulation agents in the real world has long been a significant challenge. Existing approaches often rely on collecting large-scale robotic data which is costly and time-consuming, such as the RT-1 dataset. However, due to insufficient diversity of data, these approaches typically suffer from limiting their capability in open-domain scenarios with new objects and diverse environments. In this paper, we propose a novel paradigm that effectively leverages language-reasoning segmentation mask generated by internet-scale foundation models, to condition robot manipulation tasks. By integrating the mask modality, which incorporates semantic, geometric, and temporal correlation priors derived from vision foundation models, into the end-to-end policy model, our approach can effectively and robustly perceive object pose and enable sample-efficient generalization learning, including new object instances, semantic categories, and unseen backgrounds. We first introduce a series of foundation models to ground natural language demands across multiple tasks. Secondly, we develop a two-stream 2D policy model based on imitation learning, which processes raw images and object masks to predict robot actions with a local-global perception manner. Extensive realworld experiments conducted on a Franka Emika robot arm demonstrate the effectiveness of our proposed paradigm and policy architecture. Demos can be found in our submitted video, and more comprehensive ones can be found in link1 or link2.

arxiv情報

著者 Jiange Yang,Wenhui Tan,Chuhao Jin,Keling Yao,Bei Liu,Jianlong Fu,Ruihua Song,Gangshan Wu,Limin Wang
発行日 2025-02-07 14:58:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Transferring Foundation Models for Generalizable Robotic Manipulation はコメントを受け付けていません

How to Learn in a Noisy World? Self-Correcting the Real-World Data Noise in Machine Translation

投稿日: 2025年2月10日 作成者: jarxiv

要約

膨大な量のWebマイインドパラレルデータには、大量のノイズが含まれています。
ノイズの主な原因としてのセマンティックの不整合は、機械翻訳システムをトレーニングするための課題となります。
この論文では、最初に、現実世界のWebがクロールしたコーパスの誤った整列された文によく似たセマンティックの類似性によって制御される不整合をシミュレートするプロセスを紹介します。
シミュレートされた不整合ノイズ設定の下で、機械翻訳への影響を定量的に分析し、騒音検出に広く使用されているプレフィルターの限られた有効性を示します。
これは、検出が難しい不整合ノイズを処理するためのより細かい方法の必要性を強調しています。
トークンレベルでの誤った整列とクリーンデータを区別するためのモデルの自己認識の信頼性の向上を観察することで、トレーニング監督を修正するためにモデルの自己知識への信頼を徐々に増やすアプローチを提案します。
包括的な実験は、シミュレートされたミスアライメントノイズの存在下と、さまざまな翻訳タスクにわたって、実世界の騒々しいWebマイインドデータセットに適用される場合の両方で、翻訳性能を大幅に改善することを示しています。

要約(オリジナル)

The massive amounts of web-mined parallel data contain large amounts of noise. Semantic misalignment, as the primary source of the noise, poses a challenge for training machine translation systems. In this paper, we first introduce a process for simulating misalignment controlled by semantic similarity, which closely resembles misaligned sentences in real-world web-crawled corpora. Under our simulated misalignment noise settings, we quantitatively analyze its impact on machine translation and demonstrate the limited effectiveness of widely used pre-filters for noise detection. This underscores the necessity of more fine-grained ways to handle hard-to-detect misalignment noise. With an observation of the increasing reliability of the model’s self-knowledge for distinguishing misaligned and clean data at the token level, we propose self-correction, an approach that gradually increases trust in the model’s self-knowledge to correct the training supervision. Comprehensive experiments show that our method significantly improves translation performance both in the presence of simulated misalignment noise and when applied to real-world, noisy web-mined datasets, across a range of translation tasks.

arxiv情報

著者 Yan Meng,Di Wu,Christof Monz
発行日 2025-02-07 15:03:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | How to Learn in a Noisy World? Self-Correcting the Real-World Data Noise in Machine Translation はコメントを受け付けていません

NV-Retriever: Improving text embedding models with effective hard-negative mining

投稿日: 2025年2月10日 作成者: jarxiv

要約

テキストの埋め込みモデルは、検索検索や検索の高級世代（RAG）に基づいたセマンティック検索や質問回答システムなどの情報検索アプリケーションに人気があります。
これらのモデルは通常、対照的な学習目標で微調整された変圧器モデルです。
微調整埋め込みモデルの挑戦的な側面の1つは、対照的な学習のための高品質の硬性陰性パッセージの選択です。
この論文では、正の関連性スコアを効果的な誤ったネガティブ除去のアンカーとして使用する肯定的なマイニング方法のファミリーを紹介し、より速いトレーニングとより正確な検索モデルにつながります。
さまざまな教師と基本モデルを探索し、構成に関する硬質陰性のマイニング方法に関するアブレーション研究を提供します。
さらに、NV-Retriever-V1モデルで提案されたマイニング方法の有効性を大規模に示します。これは、MTEB検索（BEIR）ベンチマークで60.9を獲得し、2024年7月にMTEB検索に公開されたときに1位になりました。

要約(オリジナル)

Text embedding models have been popular for information retrieval applications such as semantic search and Question-Answering systems based on Retrieval-Augmented Generation (RAG). Those models are typically Transformer models that are fine-tuned with contrastive learning objectives. One of the challenging aspects of fine-tuning embedding models is the selection of high quality hard-negative passages for contrastive learning. In this paper we introduce a family of positive-aware mining methods that use the positive relevance score as an anchor for effective false negative removal, leading to faster training and more accurate retrieval models. We provide an ablation study on hard-negative mining methods over their configurations, exploring different teacher and base models. We further demonstrate the efficacy of our proposed mining methods at scale with the NV-Retriever-v1 model, which scores 60.9 on MTEB Retrieval (BEIR) benchmark and placed 1st when it was published to the MTEB Retrieval on July, 2024.

arxiv情報

著者 Gabriel de Souza P. Moreira,Radek Osmulski,Mengyao Xu,Ronay Ak,Benedikt Schifferer,Even Oldridge
発行日 2025-02-07 15:17:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.IR | NV-Retriever: Improving text embedding models with effective hard-negative mining はコメントを受け付けていません

Aligning Black-box Language Models with Human Judgments

投稿日: 2025年2月10日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、推奨システム、検索エンジン、およびその他の主観的なタスクを評価するための自動審査員としてますます使用されています。人間の評価者に依存することは、費用がかかり、時間がかかり、無視できません。
LLMSは、継続的で自動化された評価のための効率的なソリューションを提供します。
ただし、これらの判断で構築および改善されたシステムは、最終的に人間の使用のために設計されているため、LLMの判断が人間の評価者と密接に整合して、そのようなシステムが人間中心のままであることを保証することが重要です。
一方、人間の評価者とLLM判断を合わせると、人間の判断のバイアスとバイアスがあるため、挑戦的です。
LLMを再訓練または微調整することなく、LLMの判断を個々の人間の評価者またはそれらの集計された判断と整列させるためのシンプルでありながら効果的なフレームワークを提案します。
私たちのアプローチは、LLMの出力と人間の判断の間の線形マッピングを学習し、29のタスクで142％以上の平均改善を達成し、トレーニングに使用される少数のキャリブレーションの例のみがあります。
特に、この方法はゼロショットおよび少数のショット設定で機能し、6つのタスクのうち4つのタスクの人間間契約を超え、より小さなLLMがより大きなモデルのパフォーマンスに匹敵するパフォーマンスを実現できるようにします。

要約(オリジナル)

Large language models (LLMs) are increasingly used as automated judges to evaluate recommendation systems, search engines, and other subjective tasks, where relying on human evaluators can be costly, time-consuming, and unscalable. LLMs offer an efficient solution for continuous, automated evaluation. However, since the systems that are built and improved with these judgments are ultimately designed for human use, it is crucial that LLM judgments align closely with human evaluators to ensure such systems remain human-centered. On the other hand, aligning LLM judgments with human evaluators is challenging due to individual variability and biases in human judgments. We propose a simple yet effective framework to align LLM judgments with individual human evaluators or their aggregated judgments, without retraining or fine-tuning the LLM. Our approach learns a linear mapping between the LLM’s outputs and human judgments, achieving over 142% average improvement in agreement across 29 tasks with only a small number of calibration examples used for training. Notably, our method works in zero-shot and few-shot settings, exceeds inter-human agreement on four out of six tasks, and enables smaller LLMs to achieve performance comparable to that of larger models.

arxiv情報

著者 Gerrit J. J. van den Burg,Gen Suzuki,Wei Liu,Murat Sensoy
発行日 2025-02-07 15:19:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T50, cs.AI, cs.CL, cs.LG, I.2.7 | Aligning Black-box Language Models with Human Judgments はコメントを受け付けていません

On Sequential Fault-Intolerant Process Planning

投稿日: 2025年2月10日 作成者: jarxiv

要約

私たちは、連続障害不耐性プロセス計画（SFIPP）と呼ばれる計画の問題を提案し、研究します。
SFIPPは、すべての段階が成功した場合にのみ計画が成功したとみなされる多くの順次マルチステージの決定問題で共通の報酬構造をキャプチャします。
このような報酬構造は、古典的な添加剤の報酬構造とは異なり、薬物/材料の発見、セキュリティ、品質の批判的な製品設計などの重要な用途で発生します。
私たちは、各段階で不明な成功チャンスを持つ異なるアクションを選択する必要がある設定のために、確かにタイトなオンラインアルゴリズムを設計します。
アクションの行動が決定論的である基礎となるケースと、マルチアームの盗賊アルゴリズムの使用を通じて学習と搾取のための探索と搾取のための探索のバランスを効果的にバランスさせる確率的なケースの両方を行います。
経験的評価では、SFIPPインスタンスの構造に関する追加情報を活用する特殊なアルゴリズムが開発され、より一般的なアルゴリズムを上回ることを実証します。

要約(オリジナル)

We propose and study a planning problem we call Sequential Fault-Intolerant Process Planning (SFIPP). SFIPP captures a reward structure common in many sequential multi-stage decision problems where the planning is deemed successful only if all stages succeed. Such reward structures are different from classic additive reward structures and arise in important applications such as drug/material discovery, security, and quality-critical product design. We design provably tight online algorithms for settings in which we need to pick between different actions with unknown success chances at each stage. We do so both for the foundational case in which the behavior of actions is deterministic, and the case of probabilistic action outcomes, where we effectively balance exploration for learning and exploitation for planning through the usage of multi-armed bandit algorithms. In our empirical evaluations, we demonstrate that the specialized algorithms we develop, which leverage additional information about the structure of the SFIPP instance, outperform our more general algorithm.

arxiv情報

著者 Andrzej Kaczmarczyk,Davin Choo,Niclas Boehmer,Milind Tambe,Haifeng Xu
発行日 2025-02-07 15:20:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | On Sequential Fault-Intolerant Process Planning はコメントを受け付けていません

A Strong Baseline for Molecular Few-Shot Learning

投稿日: 2025年2月10日 作成者: jarxiv

要約

少数のショット学習は最近、創薬に大きな関心を集めており、主に複雑なメタ学習戦略を含む最近の急速に成長している文献があります。
分子データのより簡単な微調整アプローチを再検討し、マハラノビス距離に基づいて正規化された二次プローブ損失を提案します。
私たちは、私たちの損失の退化したソリューションを避けるための専用のブロック座標オプティマイザーを設計します。
興味深いことに、当社のシンプルな微調整アプローチは、最先端の方法と比較して非常に競争力のあるパフォーマンスを実現し、ブラックボックスの設定に適用され、特定のエピソード前トレーニング戦略の必要性を削除します。
さらに、ドメインシフトに対する競合する方法の堅牢性を評価するための新しいベンチマークを導入します。
この設定では、微調整ベースラインでは、メタ学習方法よりも一貫して優れた結果が得られます。

要約(オリジナル)

Few-shot learning has recently attracted significant interest in drug discovery, with a recent, fast-growing literature mostly involving convoluted meta-learning strategies. We revisit the more straightforward fine-tuning approach for molecular data, and propose a regularized quadratic-probe loss based on the the Mahalanobis distance. We design a dedicated block-coordinate descent optimizer, which avoid the degenerate solutions of our loss. Interestingly, our simple fine-tuning approach achieves highly competitive performances in comparison to state-of-the-art methods, while being applicable to black-box settings and removing the need for specific episodic pre-training strategies. Furthermore, we introduce a new benchmark to assess the robustness of the competing methods to domain shifts. In this setting, our fine-tuning baseline obtains consistently better results than meta-learning methods.

arxiv情報

著者 Philippe Formont,Hugo Jeannin,Pablo Piantanida,Ismail Ben Ayed
発行日 2025-02-07 15:21:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | A Strong Baseline for Molecular Few-Shot Learning はコメントを受け付けていません