Computación (aprendizaje automático)

El proveedor de IA SpaceXAI dijo en 2026 que su progreso en IA está impulsado por la computación y la usó como una métrica clave en el entrenamiento de IA de su supercomputadora Colossus , que contiene 1 millón de GPU . ^{[ 7 ]} Anthropic tiene un contrato de $ 1.25 mil millones por mes con SpaceXAI para comprar toda la capacidad de computación en el centro de datos Colossus 1. ^{[ 8 ]} Desde junio de 2026 antes de la oferta pública inicial de SpaceX , Google paga a SpaceXAI $ 920 millones mensuales por capacidad de computación en la nube. ^{[ 9 ]}

Un estudio de 2022 reveló que los modelos de lenguaje grandes actuales están significativamente subentrenados, consecuencia de centrarse en escalar los modelos de lenguaje manteniendo constante la cantidad de datos de entrenamiento. Al entrenar más de 400 modelos de lenguaje con diversos parámetros y tamaños de tokens, descubrieron que, para un entrenamiento computacionalmente óptimo, el tamaño del modelo y el número de tokens de entrenamiento deberían escalarse idealmente por igual: por cada duplicación del tamaño del modelo, también debería duplicarse el número de tokens de entrenamiento. ^{[ 10 ]}

El aumento, la promoción o la limitación del progreso en inteligencia artificial a menudo se ha realizado mediante el control de la cantidad de capacidad de cómputo. ^{[ 13 ]} Los responsables de la formulación de políticas han implementado políticas y brindado apoyo para que los recursos de cómputo sean más accesibles para los investigadores nacionales de IA. ^{[ 13 ]}

En un informe de enero de 2022, el Centro para la Seguridad y la Tecnología Emergente (CSET) sugirió a las instituciones que la IA generalizable y cada vez más potente probablemente requerirá estrategias distintas a la maximización de la capacidad de procesamiento. ^{[ 2 ] [ 13 ]} Algunos investigadores de IA también están preocupados de que el gobierno se centre exclusivamente en aumentar la capacidad de procesamiento en lugar de otras estrategias. ^{[ 13 ]}

El CSET ha informado sobre los diversos cuellos de botella que podrían explicar por qué las necesidades de computación del aprendizaje profundo se han ralentizado:

• El entrenamiento es costoso y el entrenamiento de modelos extremadamente grandes genera atascos de tráfico en muchos procesadores que son difíciles de gestionar. ^{[ 2 ]}
• Existe un suministro limitado de chips de IA ^{[ 2 ]} (véase escasez de memoria de chips de IA ).
• CSET afirma que el principal recurso es el capital humano , específicamente los investigadores talentosos, según una encuesta publicada en 2023 a más de 400 investigadores de IA, trabajadores del sector académico y privado. ^{[ 13 ] [ 6 ]} La encuesta encontró que los investigadores de IA no están limitados principal o exclusivamente por el acceso a la computación. ^{[ 13 ]} Sin embargo, tanto los investigadores de IA académicos como los de la industria expresan por igual su preocupación de que la insuficiencia de computación podría impedirles contribuir significativamente a la investigación de IA en el futuro. ^{[ 13 ]} Los usuarios de alta computación están más preocupados por el acceso a la computación. ^{[ 13 ]} Cuando se les preguntó qué recurso proporcionado por el gobierno les sería más útil, algunos investigadores de IA seleccionaron la computación, otros prefirieron la financiación mediante subvenciones . ^{[ 13 ]}

Para lograr este objetivo, CSET aconsejó a los responsables políticos que garantizaran que incluso los investigadores con presupuestos más reducidos pudieran contribuir eficazmente a la investigación en IA . ^{[ 2 ]} Otras estrategias propuestas incluyen el uso de algoritmos de IA contemporáneos, la gestión de infraestructuras de IA modernas o el enfoque en el trabajo interdisciplinario entre el campo de la IA y otros campos de la informática. ^{[ 2 ]}

Un estudio de 2024 sobre el acceso a la computación reveló que los equipos de investigación en IA exclusivamente académicos suelen abordar temas de investigación menos intensivos en computación, especialmente en lo que respecta a modelos fundamentales , en comparación con los laboratorios de IA de la industria. ^{[ 14 ]} En consecuencia, es probable que la academia desempeñe un papel menor en el avance de dichas técnicas. Los investigadores sugieren infraestructuras informáticas financiadas a nivel nacional, así como iniciativas de ciencia abierta, para impulsar el acceso a la computación en el ámbito académico. ^{[ 14 ]}