Hispanopedia WikiDeepSpeed es una biblioteca de optimización de aprendizaje profundo de código abierto para PyTorch . [1]
Biblioteca
La biblioteca está diseñada para reducir el uso de memoria y potencia de procesamiento y para entrenar modelos distribuidos de gran tamaño con un mejor paralelismo en el hardware informático existente . [2] [3] DeepSpeed está optimizado para un entrenamiento de baja latencia y alto rendimiento. Incluye el Optimizador de redundancia cero (ZeRO) para entrenar modelos con 1 billón o más de parámetros. [4] Las características incluyen entrenamiento de precisión mixta, entrenamiento con una sola GPU, con varias GPU y con varios nodos, así como paralelismo de modelos personalizado. El código fuente de DeepSpeed tiene licencia MIT y está disponible en GitHub . [5]
El equipo afirmó haber logrado una mejora del rendimiento de hasta 6,2 veces, una convergencia 2,8 veces más rápida y 4,6 veces menos comunicación. [6]
Véase también
.svg/1280px-Free_and_open-source_software_logo_(2009).svg.png){kind=logo}
- Comparación de software de aprendizaje profundo
- Aprendizaje profundo
- Aprendizaje automático
- Flujo tensorial
Referencias
- ^ "Microsoft actualiza las herramientas de Windows y Azure con la vista puesta en el futuro". PCMag UK . 22 de mayo de 2020.
- ^ Yegulalp, Serdar (10 de febrero de 2020). "Microsoft acelera PyTorch con DeepSpeed". InfoWorld .
- ^ "Microsoft presenta la "quinta" supercomputadora más potente del mundo". Neowin . 18 de junio de 2023.
- ^ "Microsoft entrena el modelo de lenguaje Transformer más grande del mundo". 10 de febrero de 2020.
- ^ "microsoft/DeepSpeed". 10 de julio de 2020 – vía GitHub.
- ^ "DeepSpeed: Aceleración de la inferencia y el entrenamiento de modelos a gran escala mediante optimizaciones y compresión del sistema". Microsoft Research . 2021-05-24 . Consultado el 2021-06-19 .
Lectura adicional
- Rajbhandari, Samyam; Rasley, Jeff; Ruwase, Olatunji; Él, Yuxiong (2019). "ZeRO: optimización de la memoria para entrenar un billón de modelos de parámetros". arXiv : 1910.02054 [cs.LG].
Enlaces externos
- Inteligencia artificial a gran escala: investigación de Microsoft
- GitHub - microsoft/DeepSpeed
- ZeRO y DeepSpeed: las nuevas optimizaciones del sistema permiten entrenar modelos con más de 100 mil millones de parámetros - Microsoft Research
