PyTorch

PyTorch es una biblioteca de aprendizaje profundo de código abierto , desarrollada originalmente por Meta Platforms y actualmente con el apoyo de la Linux Foundation . Sucesor de Torch , PyTorch proporciona una API de alto nivel que se basa en implementaciones optimizadas de bajo nivel de algoritmos y arquitecturas de aprendizaje profundo, como Transformer o SGD . Cabe destacar que esta API simplifica el entrenamiento y la inferencia de modelos a unas pocas líneas de código. PyTorch permite la paralelización automática del entrenamiento e implementa internamente enlaces CUDA que aceleran aún más el entrenamiento aprovechando los recursos de la GPU .

PyTorch utiliza el tensor como tipo de dato fundamental , de forma similar a NumPy . El entrenamiento se facilita mediante un sistema de diferenciación automática inversa , Autograd, que construye un grafo dirigido acíclico de las operaciones (y sus argumentos) ejecutadas por un modelo durante su paso hacia adelante. Con una función de pérdida , se lleva a cabo la retropropagación . ^{[ 4 ]}

A partir de 2025PyTorch sigue siendo una de las bibliotecas de aprendizaje profundo más populares, junto con otras como TensorFlow y Keras . ^{[ 5 ]} Se puede instalar usando los gestores de paquetes Anaconda . ^{[ 6 ]} Varios sistemas comerciales de aprendizaje profundo están construidos sobre PyTorch, incluyendo ChatGPT , ^{[ 7 ]} Tesla Autopilot , ^{[ 8 ]} Pyro de Uber , ^{[ 9 ]} y Transformers de Hugging Face . ^{[ 10 ] [ 11 ]}

En 2001, Torch fue escrito y publicado bajo una GPL por el Instituto de Investigación Idiap . ^{[ 12 ]} Era una biblioteca de aprendizaje automático escrita en C++ y CUDA, que soportaba métodos que incluían redes neuronales, máquinas de vectores de soporte (SVM), modelos ocultos de Markov , etc. ^{[ 13 ] [ 14 ] [ 15 ]} Alrededor de 2010, fue reescrita por Ronan Collobert, Clement Farabet y Koray Kavuckuoglu. Esto se conoció como Torch7 o LuaTorch. Esto fue escrito de manera que el backend estaba en C y el frontend en Lua . ^{[ 16 ]} A mediados de 2016, algunos desarrolladores lo refactorizaron para desacoplar el frontend y el backend, con una fuerte influencia de torch-autograd y Chainer . A su vez, torch-autograd fue influenciado por HIPS/autograd. ^{[ 17 ]} El desarrollo de Torch7 cesó en 2018 y fue absorbido por el proyecto PyTorch. ^{[ 18 ] [ 19 ]}

Meta (anteriormente conocida como Facebook) opera tanto PyTorch como Convolutional Architecture for Fast Feature Embedding ( Caffe2 ), pero los modelos definidos por ambos marcos eran mutuamente incompatibles. El proyecto Open Neural Network Exchange (ONNX) fue creado por Meta y Microsoft en septiembre de 2017 para desacoplar los marcos de aprendizaje profundo de los entornos de ejecución específicos del hardware, lo que permite convertir modelos entre marcos y optimizarlos para proveedores de ejecución como TensorRT de NVIDIA. ^{[ 20 ]} Caffe2 se fusionó con PyTorch a finales de marzo de 2018. ^{[ 21 ]} En septiembre de 2022, Meta anunció que PyTorch sería gobernado por la Fundación PyTorch, una filial independiente de reciente creación de la Fundación Linux . ^{[ 22 ]}

PyTorch 2.0 se lanzó el 15 de marzo de 2023, introduciendo TorchDynamo , un compilador a nivel de Python que hace que el código se ejecute hasta dos veces más rápido, junto con mejoras significativas en el rendimiento de entrenamiento e inferencia en las principales plataformas en la nube . ^{[ 23 ] [ 24 ]}

PyTorch define una clase llamada Tensor( torch.Tensor) para almacenar y operar con matrices rectangulares multidimensionales homogéneas de números. PyTorch admite varios subtipos de matrices multidimensionales, ^{[ 25 ]} o tensores. ^{[ 26 ]} Los tensores de PyTorch son similares a las matrices de NumPy , pero también pueden ser operados por una GPU NVIDIA compatible con CUDA . PyTorch también ha estado desarrollando soporte para otras plataformas de GPU, por ejemplo, ROCm de AMD ^{[ 27 ]} y Metal Framework de Apple. ^{[ 28 ]}

PyTorch define un módulo llamado `nn( torch.nn)` para describir redes neuronales y facilitar su entrenamiento. Este módulo ofrece una amplia colección de bloques de construcción para redes neuronales, incluyendo diversas capas y funciones de activación, lo que permite la construcción de modelos complejos. Las redes se construyen heredando del torch.nnmódulo y definiendo la secuencia de operaciones en la forward()función.

PyTorch puede guardar y cargar modelos utilizando su propio formato de archivo, que es un archivo ZIP64 que contiene los pesos del modelo en un archivo pickle de Python , y otra información como el orden de bytes . Las extensiones de archivo .pt y .pth se utilizan comúnmente para estos archivos. ^{[ 29 ]}

El siguiente programa muestra la funcionalidad de bajo nivel de la biblioteca con un ejemplo sencillo.

antorcha de importacióndtype = torch.float​​dispositivo = torch.dispositivo ( "cpu" ) # Ejecutar todos los cálculos en la CPU# dispositivo = torch.device("cuda:0") # Ejecuta todos los cálculos en la GPU# Crea un tensor y rellénalo con números aleatorios.a = torch.randn ( 2 , 3 , device = device , dtype = dtype )​​imprimir ( a )# Salida: tensor([[-1.1884, 0.8498, -1.7129],# [-0,8816, 0,1944, 0,5847]])b = torch.randn ( 2 , 3 , device = device , dtype = dtype )​​imprimir ( b )# Salida: tensor([[ 0.7178, -0.8453, -1.3403],# [ 1.3262, 1.1512, -1.7070]])imprimir ( a * b )# Salida: tensor([[-0.8530, -0.7183, 2.58],# [-1.1692, 0.2238, -0.9981]])imprimir ( a . suma ())# Salida: tensor(-2.1540)print ( a [ 1 , 2 ]) # Salida del elemento en la tercera columna de la segunda fila (basado en cero)# Salida: tensor(0.5847)imprimir ( a . max ())# Salida: tensor(0.8498)

El siguiente bloque de código define una red neuronal con capas lineales utilizando el nnmódulo.

from torch import nn # Importa el submódulo nn de PyTorchclase RedNeural ( nn . Módulo ): # Las redes neuronales se definen como clasesdef __init__ ( self ): # Las capas y variables se definen en el método __init__super () . __init__ () # Debe estar en cada red.self.flatten = nn.Flatten ( ) # Construye una capa de aplanamiento .self.linear_relu_stack = nn.Sequential ( # Construye una pila de capas .nn . Linear ( 28 * 28 , 512 ), # Las capas lineales tienen una forma de entrada y salidann . ReLU (), # ReLU es una de las muchas funciones de activación proporcionadas por nnnn . Lineal ( 512 , 512 ),nn . ReLU (),nn . Lineal ( 512 , 10 ),)def forward ( self , x ): # Esta función define el paso hacia adelante.x = self.aplanar ( x )​​logits = self.linear_relu_stack ( x )​​devolver logits

• Comparación de software de aprendizaje profundo
• Programación diferenciable
• Velocidad profunda
• Inteligencia artificial de código abierto
• Rayos PyTorch

• Sitio web oficial