Autonomous Improvement of Instruction Following Skills via Foundation Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

自律的に収集された経験から改善できるインテリジェントな指示従うロボットには、ロボットの学習を変革する可能性があります。高価な遠隔操作のデモンストレーション データを収集する代わりに、ロボット フリートを大規模に展開することで、集合的にパフォーマンスを向上させることができる大量の自律データを迅速に収集できます。
。
ただし、自律的な改善には、2 つの重要な問題を解決する必要があります。(i) 多様で意味的に意味のあるロボット データを収集できるスケーラブルなデータ収集手順を完全に自動化すること、および (ii) 人間による注釈のない、最適ではない自律的なデータからの学習。
この目的を達成するために、私たちはこれらの課題に対処し、人間の監督なしで自律的に収集されたデータから指示に従うポリシーを改善できる新しいアプローチを提案します。
私たちのフレームワークは、視覚言語モデルを活用して、新しい環境で意味的に意味のある経験を収集して評価し、その後、タスクに続く命令を（意味論的な）言語条件付き画像生成と（非意味論的）目標達成に分解することを利用します。
人間による注釈なしで自律的に収集されたデータから改善するのが現実的です。
私たちは、アプローチの有効性を実証するために現実世界で広範な実験を実施し、目に見えない一連の環境において、自律的に収集されたデータを使用してロボットのポリシーを 2 倍改善できることがわかりました。
私たちは、セマンティック自律改善パイプラインのコードと、5 つのテーブルトップ環境にわたって収集された 30.5K の軌跡の自律データセットをオープンソースにしています。

要約(オリジナル)

Intelligent instruction-following robots capable of improving from autonomously collected experience have the potential to transform robot learning: instead of collecting costly teleoperated demonstration data, large-scale deployment of fleets of robots can quickly collect larger quantities of autonomous data that can collectively improve their performance. However, autonomous improvement requires solving two key problems: (i) fully automating a scalable data collection procedure that can collect diverse and semantically meaningful robot data and (ii) learning from non-optimal, autonomous data with no human annotations. To this end, we propose a novel approach that addresses these challenges, allowing instruction-following policies to improve from autonomously collected data without human supervision. Our framework leverages vision-language models to collect and evaluate semantically meaningful experiences in new environments, and then utilizes a decomposition of instruction following tasks into (semantic) language-conditioned image generation and (non-semantic) goal reaching, which makes it significantly more practical to improve from this autonomously collected data without any human annotations. We carry out extensive experiments in the real world to demonstrate the effectiveness of our approach, and find that in a suite of unseen environments, the robot policy can be improved 2x with autonomously collected data. We open-source the code for our semantic autonomous improvement pipeline, as well as our autonomous dataset of 30.5K trajectories collected across five tabletop environments.

arxiv情報

著者 Zhiyuan Zhou,Pranav Atreya,Abraham Lee,Homer Walke,Oier Mees,Sergey Levine
発行日 2024-10-15 17:54:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Autonomous Improvement of Instruction Following Skills via Foundation Models はコメントを受け付けていません

Mitigating Suboptimality of Deterministic Policy Gradients in Complex Q-functions

投稿日: 2024年10月16日 作成者: jarxiv

要約

強化学習では、DDPG や TD3 などのオフポリシー アクタークリティカル アプローチは、決定論的なポリシー勾配に基づいています。
ここで、Q 関数はオフポリシー環境データからトレーニングされ、アクター (ポリシー) は勾配上昇によって Q 関数を最大化するようにトレーニングされます。
器用な操作や制限された移動などの複雑なタスクでは、Q 値が動作の複雑な関数であり、いくつかの局所最適値または不連続性があることが観察されます。
これにより、勾配上昇を通過するのが困難になり、アクターが局所最適値で行き詰まる傾向があります。
これに対処するために、2 つの単純な洞察を組み合わせた新しいアクター アーキテクチャを導入します。(i) 複数のアクターを使用し、Q 値を最大化するアクションを評価する。(ii) 勾配で最適化するのがより簡単な Q 関数のサロゲートを学習する。
ベースのメソッド。
制限された移動、器用な操作、大規模な離散アクション空間レコメンダー システムなどのタスクを評価し、アクターが最適なアクションをより頻繁に見つけ、代替アクター アーキテクチャよりも優れたパフォーマンスを発揮することを示します。

要約(オリジナル)

In reinforcement learning, off-policy actor-critic approaches like DDPG and TD3 are based on the deterministic policy gradient. Herein, the Q-function is trained from off-policy environment data and the actor (policy) is trained to maximize the Q-function via gradient ascent. We observe that in complex tasks like dexterous manipulation and restricted locomotion, the Q-value is a complex function of action, having several local optima or discontinuities. This poses a challenge for gradient ascent to traverse and makes the actor prone to get stuck at local optima. To address this, we introduce a new actor architecture that combines two simple insights: (i) use multiple actors and evaluate the Q-value maximizing action, and (ii) learn surrogates to the Q-function that are simpler to optimize with gradient-based methods. We evaluate tasks such as restricted locomotion, dexterous manipulation, and large discrete-action space recommender systems and show that our actor finds optimal actions more frequently and outperforms alternate actor architectures.

arxiv情報

著者 Ayush Jain,Norio Kosaka,Xinhu Li,Kyung-Min Kim,Erdem Bıyık,Joseph J. Lim
発行日 2024-10-15 17:58:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO, stat.ML | Mitigating Suboptimality of Deterministic Policy Gradients in Complex Q-functions はコメントを受け付けていません

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?

投稿日: 2024年10月16日 作成者: jarxiv

要約

LoRA としても知られる低ランク適応は、基礎モデルをパラメーター効率よく微調整するための優れた方法として浮上しています。
LoRA の計算効率にもかかわらず、完全な微調整と比較するとパフォーマンスは依然として劣ります。
この論文では、まず、LoRA の最適化プロセスと完全な微調整の間の基本的な関係を明らかにします。つまり、最適化に LoRA を使用することは、パラメーター更新に低ランクの勾配を使用する完全な微調整と数学的に同等です。
そして、この低ランクの勾配は、LoRA の 2 つの低ランク行列の勾配によって表現できます。
この洞察を活用して、これらの低ランク行列の勾配を戦略的に調整することで LoRA のパフォーマンスを向上させる手法である LoRA-Pro を紹介します。
この調整により、低ランクの勾配が完全な微調整勾配をより正確に近似できるようになり、それによって LoRA と完全な微調整の間のパフォーマンスのギャップが狭まります。
さらに、低ランク行列の勾配を調整するための最適解を理論的に導き出し、LoRA-Pro での微調整中に適用します。
私たちは、自然言語理解、対話生成、数学的推論、コード生成、画像分類タスクにわたる広範な実験を実施し、LoRA-Pro が LoRA のパフォーマンスを大幅に向上させ、完全な微調整で効果的にギャップを狭めることを実証しました。
コードは \url{https://github.com/mrflogs/LoRA-Pro} で公開されています。

要約(オリジナル)

Low-rank adaptation, also known as LoRA, has emerged as a prominent method for parameter-efficient fine-tuning of foundation models. Despite its computational efficiency, LoRA still yields inferior performance compared to full fine-tuning. In this paper, we first uncover a fundamental connection between the optimization processes of LoRA and full fine-tuning: using LoRA for optimization is mathematically equivalent to full fine-tuning using a low-rank gradient for parameter updates. And this low-rank gradient can be expressed in terms of the gradients of the two low-rank matrices in LoRA. Leveraging this insight, we introduce LoRA-Pro, a method that enhances LoRA’s performance by strategically adjusting the gradients of these low-rank matrices. This adjustment allows the low-rank gradient to more accurately approximate the full fine-tuning gradient, thereby narrowing the performance gap between LoRA and full fine-tuning. Furthermore, we theoretically derive the optimal solutions for adjusting the gradients of the low-rank matrices, applying them during fine-tuning in LoRA-Pro. We conduct extensive experiments across natural language understanding, dialogue generation, mathematical reasoning, code generation, and image classification tasks, demonstrating that LoRA-Pro substantially improves LoRA’s performance, effectively narrowing the gap with full fine-tuning. Code is publicly available at \url{https://github.com/mrflogs/LoRA-Pro}.

arxiv情報

著者 Zhengbo Wang,Jian Liang,Ran He,Zilei Wang,Tieniu Tan
発行日 2024-10-15 17:58:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | LoRA-Pro: Are Low-Rank Adapters Properly Optimized? はコメントを受け付けていません

A Hitchhiker’s Guide to Scaling Law Estimation

投稿日: 2024年10月16日 作成者: jarxiv

要約

スケーリング則は、より少ないパラメーターまたはより小さなトレーニング セットを使用してトレーニングが容易なモデルから外挿することにより、ターゲットの機械学習モデルの損失を予測します。
これにより、実務者も研究者も、オプティマイザー、データセット、モデル アーキテクチャに関わる事前トレーニングの決定を比較する効率的な方法が提供されます。
言語モデルのトレーニングのダイナミクスをモデル化するためにスケーリング則が広く使用されているにもかかわらず、それらを最適に推定して解釈する方法を理解するための研究はほとんど行われていません。
私たちは、以前に公開された 485 個の事前トレーニング済みモデルの損失と下流の評価を含む大規模なデータセットを収集 (およびリリース) します。
これらを使用して 1000 を超えるスケーリング則を推定し、新しいモデル ファミリでスケーリング則を推定するための一連のベスト プラクティスを導き出します。
トレーニング実行の中間チェックポイント (最終的な損失だけでなく) にスケーリング則を当てはめると、精度が大幅に向上し、他のすべてが等しい場合、パフォーマンスの推定値は一般に、同様のサイズの他のモデルから導出された場合に最も正確になることがわかりました。
ただし、モデル シード間でかなりのばらつきがあるため、単一の大きなモデルをトレーニングするよりも、複数の小さなモデルをトレーニングする方が役立つ場合があります。
さらに、異なるモデル ファミリはスケーリング動作が異なりますが、多くの場合、それらは十分に類似しているため、ターゲット モデルの動作は、他のモデル ファミリから導出されたスケーリング パラメーター推定値とともに、同じアーキテクチャを持つ単一のモデルから予測できます。

要約(オリジナル)

Scaling laws predict the loss of a target machine learning model by extrapolating from easier-to-train models with fewer parameters or smaller training sets. This provides an efficient way for practitioners and researchers alike to compare pretraining decisions involving optimizers, datasets, and model architectures. Despite the widespread use of scaling laws to model the dynamics of language model training, there has been little work on understanding how to best estimate and interpret them. We collect (and release) a large-scale dataset containing losses and downstream evaluations for 485 previously published pretrained models. We use these to estimate more than 1000 scaling laws, then derive a set of best practices for estimating scaling laws in new model families. We find that fitting scaling laws to intermediate checkpoints of training runs (and not just their final losses) substantially improves accuracy, and that — all else equal — estimates of performance are generally most accurate when derived from other models of similar sizes. However, because there is a significant degree of variability across model seeds, training multiple small models is sometimes more useful than training a single large one. Moreover, while different model families differ scaling behavior, they are often similar enough that a target model’s behavior can be predicted from a single model with the same architecture, along with scaling parameter estimates derived from other model families.

arxiv情報

著者 Leshem Choshen,Yang Zhang,Jacob Andreas
発行日 2024-10-15 17:59:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | A Hitchhiker’s Guide to Scaling Law Estimation はコメントを受け付けていません

GaVaMoE: Gaussian-Variational Gated Mixture of Experts for Explainable Recommendation

投稿日: 2024年10月16日 作成者: jarxiv

要約

大規模言語モデルベースの説明可能なレコメンデーション (LLM ベースの ER) システムは、レコメンデーションに対する人間のような説明の生成に有望です。
ただし、ユーザーとアイテムの共同設定のモデリング、説明のパーソナライズ、およびまばらなユーザーとアイテムの対話の処理において課題に直面しています。
これらの問題に対処するために、説明可能な推奨を実現するための新しいガウス変分ゲート型専門家混合フレームワークである GaVaMoE を提案します。
GaVaMoE は 2 つの重要なコンポーネントを導入しています。(1) 変動オートエンコーダ (VAE) とガウス混合モデル (GMM) を使用して、ユーザーとアイテムの複雑な共同嗜好をキャプチャし、事前トレーニング済みのマルチゲート メカニズムとして機能する評価再構成モジュール。
(2) 高度にパーソナライズされた説明を生成するためのマルチゲート メカニズムと組み合わせた一連のきめの細かいエキスパート モデル。
VAE コンポーネントはユーザーとアイテムのインタラクションにおける潜在的な要因をモデル化し、GMM は同様の行動を持つユーザーをクラスター化します。
各クラスターはマルチゲート メカニズムのゲートに対応し、ユーザーとアイテムのペアを適切なエキスパート モデルにルーティングします。
このアーキテクチャにより、GaVaMoE は特定のユーザーのタイプや好みに合わせた説明を生成し、ユーザーの類似性を活用してデータの希薄性を軽減できます。
3 つの現実世界のデータセットに対する広範な実験により、GaVaMoE が説明の品質、パーソナライゼーション、一貫性の点で既存の手法を大幅に上回ることが実証されました。
特に、GaVaMoE は、ユーザーとアイテムのやり取りがまばらなシナリオでも堅牢なパフォーマンスを示し、履歴データが限られているユーザーに対しても高品質の説明を維持します。

要約(オリジナル)

Large language model-based explainable recommendation (LLM-based ER) systems show promise in generating human-like explanations for recommendations. However, they face challenges in modeling user-item collaborative preferences, personalizing explanations, and handling sparse user-item interactions. To address these issues, we propose GaVaMoE, a novel Gaussian-Variational Gated Mixture of Experts framework for explainable recommendation. GaVaMoE introduces two key components: (1) a rating reconstruction module that employs Variational Autoencoder (VAE) with a Gaussian Mixture Model (GMM) to capture complex user-item collaborative preferences, serving as a pre-trained multi-gating mechanism; and (2) a set of fine-grained expert models coupled with the multi-gating mechanism for generating highly personalized explanations. The VAE component models latent factors in user-item interactions, while the GMM clusters users with similar behaviors. Each cluster corresponds to a gate in the multi-gating mechanism, routing user-item pairs to appropriate expert models. This architecture enables GaVaMoE to generate tailored explanations for specific user types and preferences, mitigating data sparsity by leveraging user similarities. Extensive experiments on three real-world datasets demonstrate that GaVaMoE significantly outperforms existing methods in explanation quality, personalization, and consistency. Notably, GaVaMoE exhibits robust performance in scenarios with sparse user-item interactions, maintaining high-quality explanations even for users with limited historical data.

arxiv情報

著者 Fei Tang,Yongliang Shen,Hang Zhang,Zeqi Tan,Wenqi Zhang,Guiyang Hou,Kaitao Song,Weiming Lu,Yueting Zhuang
発行日 2024-10-15 17:59:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.IR | GaVaMoE: Gaussian-Variational Gated Mixture of Experts for Explainable Recommendation はコメントを受け付けていません

VisualRWKV-HD and UHD: Advancing High-Resolution Processing for Visual Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

複雑な視覚情報を正確に理解することは、視覚言語モデル (VLM) にとって非常に重要です。
画像の解像度を高めると視覚認識能力が向上し、幻覚が軽減されるだけでなく、テキストが多いタスクや文書分析など、高解像度が必要なタスクのパフォーマンスも向上します。
このペーパーでは、高解像度のビジュアル入力を処理するために特別に設計された、VisualRWKV モデル ファミリの 2 つの進歩である VisualRWKV-HD と VisualRWKV-UHD を紹介します。
VisualRWKV-HD では、入力シーケンスの長さを拡張することなく、高解像度ビジョン エンコーダと低解像度エンコーダを効果的に統合するロスレス ダウンサンプリング手法を開発しました。
VisualRWKV-UHD モデルでは、画像を 4 つのセグメントに分割し、元の画像と再結合することで画像表現を強化しました。
この手法により、モデルに高解像度と低解像度の両方の機能を組み込むことができ、粗い情報と細かい情報のバランスが効果的に得られます。
その結果、このモデルは最大 4096 x 4096 ピクセルの解像度をサポートし、より詳細で包括的な視覚処理機能を提供します。
VisualRWKV-HD と VisualRWKV-UHD はどちらも、VLM ベンチマークで優れた結果を達成するだけでなく、テキストの多いタスクのパフォーマンスが大幅に向上しています。

要約(オリジナル)

Accurately understanding complex visual information is crucial for visual language models (VLMs). Enhancing image resolution can improve visual perception capabilities, not only reducing hallucinations but also boosting performance in tasks that demand high resolution, such as text-rich or document analysis. In this paper, we present VisualRWKV-HD and VisualRWKV-UHD, two advancements in the VisualRWKV model family, specifically designed to process high-resolution visual inputs. For VisualRWKV-HD, we developed a lossless downsampling method to effectively integrate a high-resolution vision encoder with low-resolution encoders, without extending the input sequence length. For the VisualRWKV-UHD model, we enhanced image representation by dividing the image into four segments, which are then recombined with the original image. This technique allows the model to incorporate both high-resolution and low-resolution features, effectively balancing coarse and fine-grained information. As a result, the model supports resolutions up to 4096 x 4096 pixels, offering a more detailed and comprehensive visual processing capability. Both VisualRWKV-HD and VisualRWKV-UHD not only achieve strong results on VLM benchmarks but also show marked improvements in performance for text-rich tasks.

arxiv情報

著者 Zihang Li,Haowen Hou
発行日 2024-10-15 14:49:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CV | VisualRWKV-HD and UHD: Advancing High-Resolution Processing for Visual Language Models はコメントを受け付けていません

LLM-wrapper: Black-Box Semantic-Aware Adaptation of Vision-Language Models for Referring Expression Comprehension

投稿日: 2024年10月16日 作成者: jarxiv

要約

ビジョン言語モデル (VLM) は、さまざまなオープン語彙タスクで顕著な機能を実証していますが、そのゼロショット パフォーマンスは、特に参照表現理解 (REC) のような複雑なタスクでは、タスク固有の微調整モデルに比べて遅れています。
通常、微調整にはモデルのアーキテクチャと重みへの「ホワイトボックス」アクセスが必要ですが、所有権やプライバシーの問題により、常に実現可能であるとは限りません。
この研究では、大規模言語モデル (LLM) を使用して REC タスクに VLM を「ブラック ボックス」適応させる方法である LLM ラッパーを提案します。
LLM ラッパーは、軽い微調整によって改善された LLM の推論能力を利用して、ゼロショット ブラック ボックス VLM によって生成された候補から、参照式に一致する最も関連性の高い境界ボックスを選択します。
私たちのアプローチにはいくつかの利点があります。内部動作にアクセスする必要なくクローズドソース モデルを適応できること、あらゆる VLM で動作するため多用途性があり、新しい VLM に移行できること、VLM のアンサンブルの適応が可能であることです。
。
さまざまな VLM と LLM を使用して複数のデータセットで LLM ラッパーを評価し、大幅なパフォーマンスの向上を実証し、手法の多用途性を強調します。
LLM ラッパーは、標準のホワイト ボックス微調整と直接競合することを意図したものではありませんが、ブラック ボックス VLM 適応の実用的で効果的な代替手段を提供します。
コードはオープンソース化されます。

要約(オリジナル)

Vision Language Models (VLMs) have demonstrated remarkable capabilities in various open-vocabulary tasks, yet their zero-shot performance lags behind task-specific finetuned models, particularly in complex tasks like Referring Expression Comprehension (REC). Fine-tuning usually requires ‘white-box’ access to the model’s architecture and weights, which is not always feasible due to proprietary or privacy concerns. In this work, we propose LLM-wrapper, a method for ‘black-box’ adaptation of VLMs for the REC task using Large Language Models (LLMs). LLM-wrapper capitalizes on the reasoning abilities of LLMs, improved with a light fine-tuning, to select the most relevant bounding box matching the referring expression, from candidates generated by a zero-shot black-box VLM. Our approach offers several advantages: it enables the adaptation of closed-source models without needing access to their internal workings, it is versatile as it works with any VLM, it transfers to new VLMs, and it allows for the adaptation of an ensemble of VLMs. We evaluate LLM-wrapper on multiple datasets using different VLMs and LLMs, demonstrating significant performance improvements and highlighting the versatility of our method. While LLM-wrapper is not meant to directly compete with standard white-box fine-tuning, it offers a practical and effective alternative for black-box VLM adaptation. The code will be open-sourced.

arxiv情報

著者 Amaia Cardiel,Eloi Zablocki,Elias Ramzi,Oriane Siméoni,Matthieu Cord
発行日 2024-10-15 14:52:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | LLM-wrapper: Black-Box Semantic-Aware Adaptation of Vision-Language Models for Referring Expression Comprehension はコメントを受け付けていません

Degradation Oriented and Regularized Network for Real-World Depth Super-Resolution

投稿日: 2024年10月16日 作成者: jarxiv

要約

最近、既存の RGB ガイド深度超解像度手法は、固定された既知の劣化 (バイキュービック ダウンサンプリングなど) の仮定に基づいて優れたパフォーマンスを達成しています。
ただし、現実世界のシナリオでは、センサーの制限やイメージング環境の複雑さ (低反射面、照明など) により、捕捉された深度は型破りで不可知的な劣化に見舞われることがよくあります。
実際の劣化が想定と異なる場合、パフォーマンスは大幅に低下します。
これらの問題に対処するために、我々は、深度回復のための的を絞ったガイダンスを提供できる低解像度深度の劣化表現の学習にさらに注目する、劣化指向かつ正規化ネットワーク (DORNet) を提案します。
具体的には、まず、ルーティング選択ベースの劣化正則化を使用して、低解像度深度の識別劣化表現をモデル化する自己教師あり劣化学習を設計します。
次に、複数の劣化指向特徴変換を再帰的に実行する劣化認識を提示します。各変換は、学習された劣化表現に基づいて深度に RGB 情報を選択的に埋め込みます。
実際のデータセットと合成データセットの両方に関する広範な実験結果は、私たちの方法が最先端のパフォーマンスを達成することを実証しています。

要約(オリジナル)

Recently, existing RGB-guided depth super-resolution methods achieve excellent performance based on the assumption of fixed and known degradation (e.g., bicubic downsampling). However, in real-world scenarios, the captured depth often suffers from unconventional and agnostic degradation due to sensor limitations and the complexity of imaging environments (e.g., low reflective surface, illumination). Their performance significantly declines when these real degradation differ from their assumptions. To address these issues, we propose a Degradation Oriented and Regularized Network, DORNet, which pays more attention on learning degradation representation of low-resolution depth that can provide targeted guidance for depth recovery. Specifically, we first design a self-supervised Degradation Learning to model the discriminative degradation representation of low-resolution depth using routing selection-based Degradation Regularization. Then, we present a Degradation Awareness that recursively conducts multiple Degradation-Oriented Feature Transformations, each of which selectively embeds RGB information into the depth based on the learned degradation representation. Extensive experimental results on both real and synthetic datasets demonstrate that our method achieves state-of-the-art performance.

arxiv情報

著者 Zhengxue Wang,Zhiqiang Yan
発行日 2024-10-15 14:53:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | Degradation Oriented and Regularized Network for Real-World Depth Super-Resolution はコメントを受け付けていません

Shelf-Supervised Cross-Modal Pre-Training for 3D Object Detection

投稿日: 2024年10月16日 作成者: jarxiv

要約

最先端の 3D オブジェクト検出器は、多くの場合、大量のラベル付きデータセットでトレーニングされます。
ただし、3D 境界ボックスに注釈を付けるには、特に LiDAR の場合、依然として法外な費用と時間がかかります。
代わりに、最近の研究では、ラベルなしデータを使用した自己教師あり事前トレーニングにより、限定されたラベルでも検出精度を向上できることが実証されています。
最新の手法は、画像領域から点群までの自己教師あり学習 (対照学習など) のベスト プラクティスを適応させています。
ただし、公的に利用可能な 3D データセットは、画像ベースの自己教師あり学習に使用されるデータセットよりもかなり小さく、多様性が低いため、その有効性は限られています。
ただし、そのような 3D データは自然にマルチモーダルな方法で収集され、画像と組み合わせて収集されることが多いことに注意してください。
自己教師ありの目標のみを使用して事前トレーニングするよりも、インターネット規模のデータでトレーニングされた画像ベースの基礎モデルを使用して点群表現をブートストラップする方が良いと私たちは主張します。
具体的には、ペアのRGBデータとLiDARデータからゼロショット3Dバウンディングボックスを生成するためのシェルフ教師ありアプローチ（たとえば、既製の画像基礎モデルで教師あり）を提案します。
このような疑似ラベルを使用して 3D 検出器を事前トレーニングすると、以前の自己教師あり口実タスクよりも大幅に優れた半教師あり検出精度が得られます。
重要なのは、画像ベースの棚監視が、LiDAR のみ、RGB のみ、およびマルチモーダル (RGB + LiDAR) 検出器のトレーニングに役立つことを示していることです。
私たちは、nuScenes と WOD に対するアプローチの有効性を実証し、限られたデータ設定で以前の作業を大幅に改善しました。
私たちのコードは https://github.com/meharkhurana03/cm3d で入手できます。

要約(オリジナル)

State-of-the-art 3D object detectors are often trained on massive labeled datasets. However, annotating 3D bounding boxes remains prohibitively expensive and time-consuming, particularly for LiDAR. Instead, recent works demonstrate that self-supervised pre-training with unlabeled data can improve detection accuracy with limited labels. Contemporary methods adapt best-practices for self-supervised learning from the image domain to point clouds (such as contrastive learning). However, publicly available 3D datasets are considerably smaller and less diverse than those used for image-based self-supervised learning, limiting their effectiveness. We do note, however, that such 3D data is naturally collected in a multimodal fashion, often paired with images. Rather than pre-training with only self-supervised objectives, we argue that it is better to bootstrap point cloud representations using image-based foundation models trained on internet-scale data. Specifically, we propose a shelf-supervised approach (e.g. supervised with off-the-shelf image foundation models) for generating zero-shot 3D bounding boxes from paired RGB and LiDAR data. Pre-training 3D detectors with such pseudo-labels yields significantly better semi-supervised detection accuracy than prior self-supervised pretext tasks. Importantly, we show that image-based shelf-supervision is helpful for training LiDAR-only, RGB-only and multi-modal (RGB + LiDAR) detectors. We demonstrate the effectiveness of our approach on nuScenes and WOD, significantly improving over prior work in limited data settings. Our code is available at https://github.com/meharkhurana03/cm3d

arxiv情報

著者 Mehar Khurana,Neehar Peri,James Hays,Deva Ramanan
発行日 2024-10-15 14:54:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO | Shelf-Supervised Cross-Modal Pre-Training for 3D Object Detection はコメントを受け付けていません

Leveraging Structure Knowledge and Deep Models for the Detection of Abnormal Handwritten Text

投稿日: 2024年10月16日 作成者: jarxiv

要約

現在、手書きテキストのシーケンス構造の破壊が、認識タスクを制限する主なボトルネックの 1 つとなっています。
典型的な状況には、追加の特定のマーカー (テキストの交換変更) や、削除、置換、挿入などの文字変更によって引き起こされるテキストの重複が含まれます。
この論文では、上記のテキストに対して構造知識と深層モデルを組み合わせた 2 段階の検出アルゴリズムを提案します。
まず、手書きのテキスト画像からさまざまな構造のプロトタイプを大まかに特定します。
第 1 段階の検出結果に基づいて、第 2 段階では異なる戦略を採用します。
具体的には、新しい半教師ありコントラストトレーニング戦略によってトレーニングされた形状回帰ネットワークが導入され、キャラクター間の位置関係が最大限に活用されます。
2 つの手書きテキスト データセットでの実験により、提案された方法により検出パフォーマンスが大幅に向上することが示されました。
新しいデータセットは https://github.com/Wukong90 で入手できます。

要約(オリジナル)

Currently, the destruction of the sequence structure in handwritten text has become one of the main bottlenecks restricting the recognition task. The typical situations include additional specific markers (the text swapping modification) and the text overlap caused by character modifications like deletion, replacement, and insertion. In this paper, we propose a two-stage detection algorithm that combines structure knowledge and deep models for the above mentioned text. Firstly, different structure prototypes are roughly located from handwritten text images. Based on the detection results of the first stage, in the second stage, we adopt different strategies. Specifically, a shape regression network trained by a novel semi-supervised contrast training strategy is introduced and the positional relationship between the characters is fully employed. Experiments on two handwritten text datasets show that the proposed method can greatly improve the detection performance. The new dataset is available at https://github.com/Wukong90.

arxiv情報

著者 Zi-Rui Wang
発行日 2024-10-15 14:57:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | Leveraging Structure Knowledge and Deep Models for the Detection of Abnormal Handwritten Text はコメントを受け付けていません