TorchRL: A data-driven decision-making library for PyTorch

要約

PyTorch は、最高の機械学習フレームワークとしての地位を確立しましたが、複雑な現実世界のデータと環境を扱う大規模な開発チームに適した、意思決定および制御タスク用のネイティブで包括的なライブラリが不足しています。
この問題に対処するために、私たちは、十分に統合されながらもスタンドアロン コンポーネントを提供する PyTorch 用の汎用制御ライブラリである、TorchRL を提案します。
新しい柔軟な PyTorch プリミティブである TensorDict を導入します。これにより、強化学習 (RL) と制御の多くの分野にわたる合理化されたアルゴリズム開発が容易になります。
構成要素の詳細な説明と、ドメインとタスクにわたるライブラリの広範な概要を提供します。
最後に、その信頼性と柔軟性を実験的に実証し、その計算効率を実証するための比較ベンチマークを示します。
TorchRL は長期的なサポートを促進し、研究コミュニティ内での再現性とコラボレーションを向上させるために GitHub で公開されています。
コードは GitHub でオープンソース化されています。

要約(オリジナル)

PyTorch has ascended as a premier machine learning framework, yet it lacks a native and comprehensive library for decision and control tasks suitable for large development teams dealing with complex real-world data and environments. To address this issue, we propose TorchRL, a generalistic control library for PyTorch that provides well-integrated, yet standalone components. We introduce a new and flexible PyTorch primitive, the TensorDict, which facilitates streamlined algorithm development across the many branches of Reinforcement Learning (RL) and control. We provide a detailed description of the building blocks and an extensive overview of the library across domains and tasks. Finally, we experimentally demonstrate its reliability and flexibility and show comparative benchmarks to demonstrate its computational efficiency. TorchRL fosters long-term support and is publicly available on GitHub for greater reproducibility and collaboration within the research community. The code is open-sourced on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google