NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

要約

大規模言語モデル (LLM) を人間の価値観や好みに合わせることが、LLM を有用かつ安全なものにするために不可欠です。
ただし、調整を実行するための効率的なツールを構築することは、特に、数百億または数千億のパラメータを含むことが多い最大規模で最も有能な LLM の場合、困難な場合があります。
私たちは、トレーニングに数百もの GPU を使用して効率的に拡張できるモデル アライメント用のツールキットである NeMo-Aligner を作成します。
NeMo-Aligner には、ヒューマン フィードバックからの強化学習 (RLHF)、直接優先最適化 (DPO)、SteerLM、セルフプレイ ファイン チューニング (SPIN) などのモデル アライメントの主要なパラダイムに対して、高度に最適化されたスケーラブルな実装が付属しています。
さらに、当社のツールキットは、パラメータ効率の良い微調整 (PEFT) 設定でのほとんどの調整テクニックの実行をサポートしています。
NeMo-Aligner は拡張性を考慮して設計されており、最小限の労力で他の位置合わせ手法をサポートできます。
Apache 2.0 ライセンスでオープンソース化されており、https://github.com/NVIDIA/NeMo-Aligner でコミュニティへの貢献を募集しています。

要約(オリジナル)

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to using hundreds of GPUs for training. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner

arxiv情報

提供元, 利用サービス

arxiv.jp, Google