Crecer

Groq, Inc. es una empresa estadounidense de inteligencia artificial (IA) que construye un circuito integrado específico para aplicaciones (ASIC) de aceleración de IA , al que denominan Unidad de procesamiento del lenguaje (LPU), y hardware relacionado para acelerar el rendimiento de inferencia de las cargas de trabajo de IA.

Algunos ejemplos de los tipos de cargas de trabajo de IA que se ejecutan en la LPU de Groq son: modelos de lenguaje grandes (LLM), ^{[2] [3]} clasificación de imágenes , ^[4] detección de anomalías , ^{[5] [6]} y análisis predictivo. ^{[7] [8]}

Groq tiene su sede en Mountain View , California, y cuenta con oficinas en San José, California, Liberty Lake, Washington, Toronto, Canadá, Londres, Reino Unido y empleados remotos en toda América del Norte y Europa.

Groq fue fundada en 2016 por un grupo de ex ingenieros de Google , liderados por Jonathan Ross, uno de los diseñadores de la Unidad de Procesamiento Tensor (TPU), un ASIC acelerador de IA, y Douglas Wightman, empresario y ex ingeniero de Google X (conocido como X Development ), quien se desempeñó como el primer CEO de la empresa. ^{[9] [1]}

Groq recibió financiación inicial de Chamath Palihapitiya de Social Capital , con una inversión de $10 millones en 2017 ^[10] y poco después consiguió financiación adicional.

En abril de 2021, Groq recaudó 300 millones de dólares en una ronda de serie C liderada por Tiger Global Management y D1 Capital Partners . ^[11] Los inversores actuales incluyen: The Spruce House Partnership, Addition , GCM Grosvenor , Xⁿ, Firebolt Ventures, General Global Capital y Tru Arrow Partners, así como inversiones de seguimiento de TDK Ventures , XTX Ventures , Boardman Bay Capital Management e Infinitum Partners. ^{[12] [13]} Después de la ronda de financiación de serie C de Groq, se valoró en más de mil millones de dólares  , lo que convirtió a la startup en un unicornio . ^[14]

El 1 de marzo de 2022, Groq adquirió Maxeler Technologies, una empresa conocida por sus tecnologías de sistemas de flujo de datos. ^[15]

El 16 de agosto de 2023, Groq seleccionó la fundición de Samsung Electronics en Taylor, Texas, para fabricar sus chips de próxima generación en el nodo de proceso de 4 nanómetros (nm) de Samsung. Este fue el primer pedido en esta nueva fábrica de chips de Samsung. ^[16]

El 19 de febrero de 2024, Groq lanzó una plataforma para desarrolladores, GroqCloud, para atraer a los desarrolladores a utilizar la API de Groq y alquilar el acceso a sus chips. ^{[17] [1]} El 1 de marzo de 2024, Groq adquirió Definitive Intelligence, una startup conocida por ofrecer una gama de soluciones de IA orientadas a los negocios, para ayudar con su plataforma en la nube. ^[18]

Groq recaudó 640 millones de dólares en una ronda de serie D liderada por BlackRock Private Equity Partners en agosto de 2024, valorando la empresa en 2.800 millones de dólares. ^{[1] [19]}

El nombre inicial de Groq para su ASIC fue Tensor Streaming Processor (TSP), pero luego renombró el TSP como Language Processing Unit (LPU). ^{[2] [20] [21]}

La LPU presenta una microarquitectura funcionalmente segmentada , donde las unidades de memoria se intercalan con unidades de cálculo de vectores y matrices. ^{[22] [23]} Este diseño facilita la explotación de la localidad del flujo de datos en los gráficos de cálculo de IA, lo que mejora el rendimiento y la eficiencia de la ejecución. La LPU se diseñó a partir de dos observaciones clave:

1. Las cargas de trabajo de IA presentan un paralelismo de datos sustancial, que se puede mapear en hardware especialmente diseñado, lo que genera ganancias de rendimiento. ^{[22] [23]}
2. Un diseño de procesador determinista , acoplado con un modelo de programación productor-consumidor , permite un control y razonamiento precisos sobre los componentes de hardware, lo que permite un rendimiento optimizado y eficiencia energética. ^{[22] [23]}

Además de su microarquitectura funcionalmente dividida, la LPU también se puede caracterizar por su arquitectura determinista de núcleo único. ^{[22] [24]} La LPU puede lograr una ejecución determinista al evitar el uso de componentes de hardware reactivos tradicionales ( predictores de bifurcación , árbitros , buffers de reordenamiento , cachés ) ^[22] y al tener toda la ejecución controlada explícitamente por el compilador , garantizando así el determinismo en la ejecución de un programa LPU. ^[23]

La primera generación de la LPU (LPU v1) produce una densidad computacional de más de 1 TeraOp/s por mm cuadrado de silicio para su chip de 14 nm de 25 × 29 mm que funciona a una frecuencia de reloj nominal de 900 MHz. ^[22] La segunda generación de la LPU (LPU v2) se fabricará en el nodo de proceso de 4 nm de Samsung. ^[16]

Groq surgió como el primer proveedor de API en superar la tasa de generación de 100 tokens por segundo mientras ejecutaba el modelo de parámetros Llama2-70B de Meta . ^[25]

Groq actualmente aloja una variedad de modelos de lenguaje de código abierto que se ejecutan en sus LPU para acceso público. ^[26] El acceso a estas demostraciones está disponible a través del sitio web de Groq. El rendimiento de la LPU mientras se ejecutan estos LLM de código abierto ha sido evaluado de forma independiente por ArtificialAnalysis.ai, en comparación con otros proveedores de LLM. ^[27] El rendimiento medido de la LPU se muestra en la siguiente tabla:

• Unidad central de procesamiento
• Unidad de procesamiento gráfico

• Sitio web oficial