TensorFlow

A partir de 2011, Google Brain desarrolló DistBelief como un sistema propietario de aprendizaje automático basado en redes neuronales de aprendizaje profundo . Su uso creció rápidamente en diversas empresas de Alphabet , tanto en investigación como en aplicaciones comerciales. ^{[ 12 ] [ 13 ]} Google asignó a varios científicos informáticos, incluido Jeff Dean , para simplificar y refactorizar el código fuente de DistBelief en una biblioteca de grado de aplicación más rápida y robusta, que se convirtió en TensorFlow. ^{[ 14 ]} En 2009, el equipo, liderado por Geoffrey Hinton , había implementado la retropropagación generalizada y otras mejoras, que permitieron la generación de redes neuronales con una precisión sustancialmente mayor, por ejemplo, una reducción del 25 % en los errores en el reconocimiento de voz . ^{[ 15 ]}

TensorFlow es el sistema de segunda generación de Google Brain. La versión 1.0.0 se lanzó el 11 de febrero de 2017. ^{[ 16 ]} Si bien la implementación de referencia se ejecuta en dispositivos individuales, TensorFlow puede ejecutarse en múltiples CPU y GPU (con extensiones opcionales CUDA y SYCL para computación de propósito general en unidades de procesamiento gráfico ). ^{[ 17 ]} TensorFlow está disponible en Linux de 64 bits , macOS , Windows y plataformas de computación móvil, incluidas Android e iOS . ^{[ 18 ] [ 19 ]}

Su arquitectura flexible permite un despliegue sencillo de la computación en una variedad de plataformas (CPU, GPU, TPU ), y desde ordenadores de escritorio hasta clústeres de servidores, pasando por dispositivos móviles y de borde .

Los cálculos de TensorFlow se expresan como grafos de flujo de datos con estado . El nombre TensorFlow deriva de las operaciones que dichas redes neuronales realizan sobre matrices de datos multidimensionales, que se denominan tensores . ^{[ 20 ]} Durante la conferencia Google I/O en junio de 2016, Jeff Dean afirmó que 1500 repositorios en GitHub mencionaban TensorFlow, de los cuales solo 5 eran de Google. ^{[ 21 ]}

En marzo de 2018, Google anunció TensorFlow.js versión 1.0 para aprendizaje automático en JavaScript . ^{[ 22 ]}

En enero de 2019, Google anunció TensorFlow 2.0. ^{[ 23 ]} Estuvo disponible oficialmente en septiembre de 2019. ^{[ 10 ]}

En mayo de 2019, Google anunció TensorFlow Graphics para el aprendizaje profundo en gráficos por computadora. ^{[ 24 ]}

En mayo de 2016, Google anunció su unidad de procesamiento tensorial (TPU), un circuito integrado de aplicación específica ( ASIC , un chip de hardware) diseñado específicamente para el aprendizaje automático y adaptado a TensorFlow. Una TPU es un acelerador de IA programable diseñado para proporcionar un alto rendimiento en aritmética de baja precisión (por ejemplo, de 8 bits ) y orientado a usar o ejecutar modelos en lugar de entrenarlos . Google anunció que llevaba más de un año utilizando TPUs en sus centros de datos y que había comprobado que ofrecían un rendimiento optimizado por vatio un orden de magnitud superior para el aprendizaje automático. ^{[ 25 ]}

En mayo de 2017, Google anunció la segunda generación, así como la disponibilidad de las TPU en Google Compute Engine . ^{[ 26 ]} Las TPU de segunda generación ofrecen hasta 180 teraflops de rendimiento y, cuando se organizan en clústeres de 64 TPU, proporcionan hasta 11,5 petaflops .

En mayo de 2018, Google anunció las TPU de tercera generación que ofrecen hasta 420 teraflops de rendimiento y 128 GB de memoria de alto ancho de banda (HBM). Los Cloud TPU v3 Pods ofrecen más de 100 petaflops de rendimiento y 32 TB de HBM. ^{[ 27 ]}

En febrero de 2018, Google anunció que pondría TPUs a disposición en versión beta en la plataforma Google Cloud . ^{[ 28 ]}

En julio de 2018, se anunció el Edge TPU. Edge TPU es el chip ASIC creado específicamente por Google para ejecutar modelos de aprendizaje automático (ML) de TensorFlow Lite en pequeños dispositivos informáticos cliente como teléfonos inteligentes ^{[ 29 ]} , lo que se conoce como computación de borde .

En mayo de 2017, Google anunció TensorFlow Lite como una pila de software para admitir modelos de aprendizaje automático para dispositivos móviles y embebidos, y en noviembre de 2017, proporcionó la vista previa para desarrolladores. ^{[ 30 ] [ 31 ]} En enero de 2019, el equipo de TensorFlow lanzó una vista previa para desarrolladores del motor de inferencia de GPU móvil con sombreadores de cómputo OpenGL ES 3.1 en dispositivos Android y sombreadores de cómputo Metal en dispositivos iOS. ^{[ 32 ]} En mayo de 2019, Google anunció que su TensorFlow Lite Micro (también conocido como TensorFlow Lite para microcontroladores) y uTensor de ARM se fusionarían. ^{[ 33 ]} Fue renombrado como LiteRT en 2024. ^{[ 34 ]}

A medida que la cuota de mercado de TensorFlow entre los artículos de investigación disminuía en favor de PyTorch , ^{[ 35 ]} el equipo de TensorFlow anunció el lanzamiento de una nueva versión principal de la biblioteca en septiembre de 2019. TensorFlow 2.0 introdujo muchos cambios, el más significativo fue TensorFlow eager, que cambió el esquema de diferenciación automática del gráfico computacional estático al esquema "Define-by-Run" originalmente popularizado por Chainer y posteriormente por PyTorch . ^{[ 35 ]} Otros cambios importantes incluyeron la eliminación de bibliotecas antiguas, la compatibilidad cruzada entre modelos entrenados en diferentes versiones de TensorFlow y mejoras significativas en el rendimiento en GPU. ^{[ 36 ]}

La autodiferenciación es el proceso de calcular automáticamente el vector gradiente de un modelo con respecto a cada uno de sus parámetros. Con esta función, TensorFlow puede calcular automáticamente los gradientes para los parámetros de un modelo, lo cual es útil para algoritmos como la retropropagación , que requieren gradientes para optimizar el rendimiento. ^{[ 37 ]} Para ello, el marco de trabajo debe mantener un registro del orden de las operaciones realizadas a los tensores de entrada en un modelo y, a continuación, calcular los gradientes con respecto a los parámetros apropiados. ^{[ 37 ]}

TensorFlow incluye un modo de "ejecución inmediata", lo que significa que las operaciones se evalúan inmediatamente en lugar de agregarse a un grafo computacional que se ejecuta posteriormente. ^{[ 38 ]} El código ejecutado de forma inmediata se puede examinar paso a paso mediante un depurador, ya que los datos se incrementan en cada línea de código en lugar de hacerlo posteriormente en un grafo computacional. ^{[ 38 ]} Este paradigma de ejecución se considera más fácil de depurar debido a su transparencia paso a paso. ^{[ 38 ]}

Tanto en la ejecución inmediata como en la ejecución de grafos, TensorFlow proporciona una API para distribuir la computación entre múltiples dispositivos con diversas estrategias de distribución. ^{[ 39 ]} Esta computación distribuida a menudo puede acelerar la ejecución del entrenamiento y la evaluación de los modelos de TensorFlow y es una práctica común en el campo de la IA. ^{[ 39 ] [ 40 ]}

Para entrenar y evaluar modelos, TensorFlow proporciona un conjunto de funciones de pérdida (también conocidas como funciones de costo ). ^{[ 41 ]} Algunos ejemplos populares incluyen el error cuadrático medio (MSE) y la entropía cruzada binaria (BCE). ^{[ 41 ]}

Para evaluar el rendimiento de los modelos de aprendizaje automático, TensorFlow proporciona acceso API a métricas de uso común. Algunos ejemplos incluyen diversas métricas de precisión (binaria, categórica, categórica dispersa), junto con otras métricas como precisión, exhaustividad e intersección sobre unión (IoU). ^{[ 42 ]}

TensorFlow.nn es un módulo para ejecutar operaciones primitivas de redes neuronales en modelos. ^{[ 43 ]} Algunas de estas operaciones incluyen variaciones de convoluciones (1/2/3D, atrous, en profundidad), funciones de activación ( Softmax , RELU , GELU, Sigmoid , etc.) y sus variaciones, y otras operaciones ( max-pooling , bias-add, etc.). ^{[ 43 ]}

TensorFlow ofrece un conjunto de optimizadores para el entrenamiento de redes neuronales, incluyendo ADAM , ADAGRAD y el Descenso de Gradiente Estocástico (SGD). ^{[ 44 ]} Al entrenar un modelo, los diferentes optimizadores ofrecen distintos modos de ajuste de parámetros, lo que suele afectar la convergencia y el rendimiento del modelo. ^{[ 45 ]}

TensorFlow funciona como una plataforma y biblioteca central para el aprendizaje automático. Las API de TensorFlow utilizan Keras para permitir a los usuarios crear sus propios modelos de aprendizaje automático. ^{[ 36 ] [ 46 ]} Además de construir y entrenar su modelo, TensorFlow también puede ayudar a cargar los datos para entrenar el modelo y desplegarlo usando TensorFlow Serving. ^{[ 47 ]}

TensorFlow proporciona una interfaz de programación de aplicaciones ( API ) estable para Python , ^{[ 48 ]} así como API sin garantía de retrocompatibilidad para JavaScript , ^{[ 49 ]} C++ , ^{[ 50 ]} y Java . ^{[ 51 ] [ 11 ]} También hay paquetes de enlace de lenguaje de terceros disponibles para C# , ^{[ 52 ] [ 53 ]} Haskell , ^{[ 54 ]} Julia , ^{[ 55 ]} MATLAB , ^{[ 56 ]} Object Pascal , ^{[ 57 ]} R , ^{[ 58 ]} Scala , ^{[ 59 ]} Rust , ^{[ 60 ]} OCaml , ^{[ 61 ]} y Crystal . ^{[ 62 ]} Los enlaces que ahora están archivados y no son compatibles incluyen Go ^{[ 63 ]} y Swift . ^{[ 64 ]}

TensorFlow también cuenta con una biblioteca para aprendizaje automático en JavaScript. Mediante las API de JavaScript proporcionadas , TensorFlow.js permite a los usuarios utilizar modelos de Tensorflow.js o modelos convertidos de TensorFlow o TFLite, reentrenar los modelos dados y ejecutarlos en la web. ^{[ 47 ] [ 65 ]}

LiteRT, anteriormente conocido como TensorFlow Lite, ^{[ 66 ]} tiene API para aplicaciones móviles o dispositivos integrados para generar e implementar modelos de TensorFlow. ^{[ 67 ]} Estos modelos se comprimen y optimizan para ser más eficientes y tener un mayor rendimiento en dispositivos de menor capacidad. ^{[ 68 ]}

LiteRT utiliza FlatBuffers como formato de serialización de datos para los modelos de red, prescindiendo del formato Protocol Buffers utilizado por los modelos estándar de TensorFlow. ^{[ 68 ]}

TensorFlow Extended (abreviado TFX) proporciona numerosos componentes para realizar todas las operaciones necesarias para la producción de extremo a extremo. ^{[ 69 ]} Los componentes incluyen la carga, validación y transformación de datos, el ajuste, el entrenamiento y la evaluación del modelo de aprendizaje automático, y la puesta en producción del propio modelo. ^{[ 47 ] [ 69 ]}

TensorFlow también ofrece una variedad de bibliotecas y extensiones para avanzar y ampliar los modelos y métodos utilizados. ^{[ 71 ]} Por ejemplo, TensorFlow Recommenders y TensorFlow Graphics son bibliotecas para sus respectivas funciones. ^{[ 72 ]} Otros complementos, bibliotecas y marcos incluyen TensorFlow Model Optimization, TensorFlow Probability, TensorFlow Quantum y TensorFlow Decision Forests. ^{[ 71 ] [ 72 ]}

GE Healthcare utilizó TensorFlow para aumentar la velocidad y la precisión de las resonancias magnéticas en la identificación de partes específicas del cuerpo. ^{[ 78 ]} Google utilizó TensorFlow para crear DermAssist, una aplicación móvil gratuita que permite a los usuarios tomar fotografías de su piel e identificar posibles complicaciones de salud. ^{[ 79 ]} Sinovation Ventures utilizó TensorFlow para identificar y clasificar enfermedades oculares a partir de exploraciones de tomografía de coherencia óptica (OCT). ^{[ 79 ]}

Twitter implementó TensorFlow para clasificar los tweets por importancia para un usuario determinado y cambió su plataforma para mostrar los tweets en orden de esta clasificación. ^{[ 80 ]} Anteriormente, los tweets simplemente se mostraban en orden cronológico inverso. ^{[ 80 ]} La aplicación para compartir fotos VSCO usó TensorFlow para ayudar a sugerir filtros personalizados para fotos. ^{[ 79 ]}

Google lanzó oficialmente RankBrain el 26 de octubre de 2015, con el respaldo de TensorFlow. ^{[ 81 ]}

InSpace, una plataforma de aprendizaje virtual, utilizó TensorFlow para filtrar mensajes de chat tóxicos en las aulas. ^{[ 82 ]} Liulishuo, una plataforma de aprendizaje de inglés en línea, utilizó TensorFlow para crear un currículo adaptativo para cada estudiante. ^{[ 83 ]} TensorFlow se utilizó para evaluar las habilidades actuales de los estudiantes y también ayudó a decidir qué contenido mostrar en función de esas capacidades. ^{[ 83 ]}

La plataforma de comercio electrónico Carousell utilizó TensorFlow para proporcionar recomendaciones personalizadas a los clientes. ^{[ 79 ]} La empresa de cosméticos ModiFace utilizó TensorFlow para crear una experiencia de realidad aumentada para que los clientes probaran varios tonos de maquillaje en su rostro. ^{[ 84 ]}

Comparación de la foto original (izquierda) y con el estilo neuronal de TensorFlow aplicado (derecha) en 2016.

TensorFlow es la base del software de generación automática de subtítulos para imágenes DeepDream . ^{[ 85 ]}