Tubería de medios

MediaPipe es un marco de código abierto con muchas bibliotecas desarrolladas por Google para varias soluciones de inteligencia artificial y aprendizaje automático . Estas soluciones abarcan desde inteligencia artificial generativa , ^{[ 2 ] [ 3 ]} visión artificial en tiempo real , ^{[ 4 ] [ 5 ] [ 6 ]} procesamiento del lenguaje natural ^{[ 7 ]} y técnicas de audio ^{[ 8 ] [ 9 ] [ 10 ]} . Estas soluciones también se pueden usar en varias plataformas como Android , ^{[ 11 ] [ 12 ]} web JavaScript , ^{[ 13 ]} Python ^{[ 14 ] [ 15 ]} e iOS , ^{[ 16 ]} compatible con dispositivos de borde . ^{[ 17 ] [ 18 ] [ 19 ]}

Google lleva mucho tiempo utilizando MediaPipe en sus productos y servicios. Desde 2012, se ha utilizado para el análisis en tiempo real de vídeo y audio en YouTube. Con el tiempo, MediaPipe se ha incorporado a muchos más productos, como Gmail, Google Home, etc. ^{[ 20 ]}

La primera versión estable de MediaPipe fue la versión 0.5.0. ^{[ 21 ]} Se hizo de código abierto en junio de 2019 en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones en Long Beach, California, por Google Research . Esta versión inicial incluía solo cinco ejemplos de pipelines: Detección de objetos, Detección de rostros, Seguimiento de manos , Seguimiento de múltiples manos y Segmentación de cabello. ^{[ 22 ]} Desde su lanzamiento inicial hasta abril de 2023, se han creado numerosos pipelines. En mayo de 2025, se presentó MediaPipe Solutions. Esta transición ofreció más capacidades para el aprendizaje automático en el dispositivo. ^{[ 23 ]} MediaPipe ahora está bajo la subdivisión de Google, Google AI Edge.

Las soluciones disponibles de MediaPipe son:

• API de inferencia LLM
• Detección de objetos
• Clasificación de imágenes
• Segmentación de imágenes
• Segmentación interactiva
• detección de puntos de referencia de la mano
• Reconocimiento de gestos
• Incrustaciones de imágenes
• detección facial
• detección de puntos de referencia faciales
• detección de puntos de referencia de postura
• Generación de imágenes
• Clasificación de texto
• Incrustaciones de texto
• Detector de idioma
• Clasificación de audio

Las soluciones heredadas de MediaPipe son:

• Detección facial
• Malla facial
• Iris
• Manos
• Pose
• Holístico
• Segmentación de selfies
• Segmentación del cabello
• Detección de objetos
• Seguimiento de cajas
• Seguimiento de movimiento instantáneo
• Objectrón
• CUCHILLO
• Volteo automático
• MediaSequence
• YouTube 8M

MediaPipe está escrito principalmente en el lenguaje de programación C++ , aunque este no es el único lenguaje de programación utilizado en su creación. Otros lenguajes de programación importantes utilizados en su código fuente incluyen Python , Starlark y Java . ^{[ 21 ]}

La capacidad de MediaPipe para separarse en un sistema de componentes permite la personalización. También hay soluciones predefinidas disponibles, y puede ser útil comenzar con ellas y optimizarlas ligeramente para obtener un resultado ideal. ^{[ 24 ]}

MediaPipe contiene multitud de componentes diferentes que trabajan conjuntamente para crear un marco de visión artificial de propósito general. Cada componente funciona de forma única con arquitecturas distintas.

Seguimiento de manos

MediaPipe incluye un sistema de seguimiento de manos diseñado para funcionar de manera eficiente en dispositivos con recursos computacionales limitados. Este sistema estima un conjunto de puntos de referencia 3D para cada mano detectada y está diseñado para mantenerse estable en una amplia gama de entornos, incluyendo diferentes posturas, condiciones de iluminación y movimientos. ^{[ 25 ]}

MediaPipe funciona a partir de un modelo de aprendizaje profundo preentrenado que se entrena para detectar el área de la palma de las manos humanas, lo cual se realiza mediante un modelo detector llamado BlazePalm. ^{[ 24 ] [ 26 ]} A partir de la identificación de la palma, MediaPipe puede usar el posicionamiento de la palma como entrada para un segundo modelo que predice las posiciones de puntos de referencia clave que representarán la estructura de la mano. ^{[ 25 ]}

MediaPipe supervisa continuamente la confianza de sus predicciones y vuelve a ejecutar la detección cuando es necesario para mantener su precisión, mientras que el suavizado temporal ayuda a reducir la fluctuación entre fotogramas. Para escenas con más de una mano, el proceso se repite de forma independiente para cada región detectada. ^{[ 25 ] [ 24 ]}