Modelo de lenguaje grande

Como los algoritmos de aprendizaje automático procesan números en lugar de texto, este último debe convertirse a números. En el primer paso, se define un vocabulario; luego, se asignan índices enteros arbitrarios pero únicos a cada entrada del vocabulario; y finalmente, se asocia una representación vectorial al índice entero. Los algoritmos incluyen la codificación de pares de bytes (BPE) y WordPiece. También existen tokens especiales que funcionan como caracteres de control , como [MASK]para tokens enmascarados (utilizados en BERT ) y [UNK]("unknown") para caracteres que no aparecen en el vocabulario. Además, se utilizan algunos símbolos especiales para indicar formatos de texto especiales. Por ejemplo, "Ġ" indica un espacio en blanco precedente en RoBERTa y GPT, y "##" indica la continuación de una palabra precedente en BERT. ^{[ 25 ]}

Por ejemplo, el tokenizador BPE utilizado por la versión anterior de GPT-3 se dividiría tokenizer: texts -> series of numerical "tokens"como

La tokenización también comprime los conjuntos de datos. Dado que los LLM generalmente requieren que la entrada sea una matriz sin bordes irregulares , los textos más cortos deben rellenarse hasta que coincidan con la longitud del más largo.

En el contexto del entrenamiento de LLM, los conjuntos de datos se limpian típicamente eliminando datos de baja calidad, duplicados o tóxicos. ^{[ 27 ]} Los conjuntos de datos limpios pueden aumentar la eficiencia del entrenamiento y conducir a un mejor rendimiento posterior. ^{[ 28 ]} Un LLM entrenado puede usarse para limpiar conjuntos de datos para entrenar otro LLM. ^{[ 29 ]}

Con la creciente proporción de contenido generado por LLM en la web, la limpieza de datos en el futuro podría incluir el filtrado de dicho contenido. El contenido generado por LLM puede plantear un problema si es similar al texto humano (lo que dificulta el filtrado) pero de menor calidad (lo que degrada el rendimiento de los modelos entrenados con él). ^{[ 1 ]}

El entrenamiento de los modelos de lenguaje más grandes puede requerir más datos lingüísticos de los que están disponibles de forma natural, o bien, los datos naturales pueden ser de calidad insuficiente. En estos casos, se pueden utilizar datos sintéticos.

Se requiere una infraestructura sustancial para entrenar los modelos más grandes. La tendencia hacia modelos más grandes es visible en la lista de grandes modelos de lenguaje . Por ejemplo, el entrenamiento de GPT-2 (es decir, un modelo de 1.500 millones de parámetros) en 2019 costó 50.000 dólares, mientras que el entrenamiento de PaLM (es decir, un modelo de 540.000 millones de parámetros) en 2022 costó 8 millones de dólares, y Megatron-Turing NLG 530B (en 2021) costó alrededor de 11 millones de dólares. El calificativo "grande" en "modelo de lenguaje grande" es inherentemente vago, ya que no hay un umbral definitivo para la cantidad de parámetros necesarios para calificar como "grande".

Antes de ser ajustados , la mayoría de los LLM son predictores del siguiente token. ^{[ 30 ]} El ajuste fino moldea el comportamiento del LLM mediante técnicas como el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) o la IA constitucional . ^{[ 31 ]}

El ajuste fino de instrucciones es una forma de aprendizaje supervisado que se utiliza para enseñar a los LLM a seguir las instrucciones del usuario. En 2022, OpenAI presentó InstructGPT , una versión de GPT-3 ajustada de manera similar para seguir instrucciones. ^{[ 32 ]}

RLHF implica entrenar un modelo de recompensa para predecir qué texto prefieren los humanos. Luego, el LLM se puede ajustar mediante aprendizaje por refuerzo para satisfacer mejor este modelo de recompensa. ^{[ 33 ]}

Para determinar qué tokens son relevantes entre sí dentro del ámbito de la ventana de contexto , el mecanismo de atención calcula pesos "suaves" para cada token, más precisamente para su incrustación, utilizando múltiples cabezas de atención, cada una con su propia "relevancia" para calcular sus propios pesos suaves. Por ejemplo, el modelo GPT-2 pequeño (es decir, de 117 millones de parámetros) ha tenido doce cabezas de atención y una ventana de contexto de solo 1k tokens. ^{[ 37 ]}

Los modelos autorregresivos , como los GPT , se entrenan para adivinar cómo continúa una secuencia; por ejemplo, si es más probable que la secuencia de palabras "Me gusta comer" vaya seguida de la palabra "pan" o de la palabra "rocas". Los modelos enmascarados , como BERT, ^{[ 38 ]} se entrenan para adivinar las partes que faltan en una secuencia, como si es más probable que la palabra que falta en "Me gusta ___ rosas" sea la palabra "oler" o la palabra "comer". Las predicciones del modelo se basan en las propiedades de las secuencias dentro de su conjunto de datos de entrenamiento. ^{[ 39 ]}

Una mezcla de expertos (MoE) es una arquitectura de aprendizaje automático en la que múltiples redes neuronales especializadas ("expertos") trabajan juntas, con un mecanismo de selección que dirige cada entrada al experto o expertos más apropiados. Las mezclas de expertos pueden reducir los costos de inferencia, ya que solo se utiliza una fracción de los parámetros para cada entrada. ^{[ 40 ]}

Por lo general, los modelos de lógica difusa (LLM) se entrenan con números de coma flotante de precisión simple o media (float32 y float16). Un float16 tiene 16 bits, o 2 bytes, por lo que mil millones de parámetros requieren 2 gigabytes. Los modelos más grandes suelen tener más de 100 mil millones de parámetros, lo que los sitúa fuera del alcance de la mayoría de los dispositivos electrónicos de consumo. ^{[ 41 ]}

En 2020, investigadores de OpenAI demostraron que su nuevo modelo GPT-3 podía comprender qué formato usar a partir de algunas rondas de preguntas y respuestas (u otro tipo de tarea) en los datos de entrada como ejemplo, gracias en parte a la técnica RLHF. Esta técnica, llamada " few-shot prompting" (instrucciones con pocos ejemplos ), permite que los LLM se adapten a cualquier tarea sin necesidad de ajuste fino. ^{[ 1 ]} También en 2022, se descubrió que el modelo base GPT-3 puede generar una instrucción basada en la entrada del usuario. La instrucción generada, junto con la entrada del usuario, se utiliza como entrada para otra instancia del modelo con el formato "Instrucción: [...], Entrada: [...], Salida:". La otra instancia puede completar la salida y, a menudo, produce la respuesta correcta al hacerlo. La capacidad de "autoinstruirse" permite que los LLM se autoinicien hacia una respuesta correcta. ^{[ 44 ]}

Un modelo de lenguaje natural (LLM) puede convertirse en un chatbot especializándolo para la conversación. La entrada del usuario se antepone con un marcador como "Q:" o "User:" y se le pide al LLM que prediga la respuesta después de un "A:" o "Assistant:" fijo. Este tipo de modelo se comercializó en 2022 con ChatGPT, un modelo hermano de InstructGPT ajustado para aceptar y producir texto con formato de diálogo basado en GPT-3.5. También podía seguir las instrucciones del usuario. Antes del flujo de líneas de User y Assistant, un contexto de chat suele comenzar con unas pocas líneas de instrucciones generales, de un rol llamado "developer" o "system" para transmitir una autoridad superior a la de la entrada del usuario. Esto se denomina "solicitud del sistema".

La generación aumentada por recuperación (RAG) es un enfoque que integra los LLM con los sistemas de recuperación de documentos . Dada una consulta, se llama a un recuperador de documentos para recuperar los documentos más relevantes. Esto generalmente se hace codificando la consulta y los documentos en vectores, y luego encontrando los documentos con vectores (generalmente almacenados en una base de datos vectorial ) más similares al vector de la consulta. El LLM genera entonces una salida basada tanto en la consulta como en el contexto incluido en los documentos recuperados. ^{[ 45 ]}

El uso de herramientas es un mecanismo que permite a los LLM interactuar con sistemas, aplicaciones o fuentes de datos externas. Por ejemplo, les permite obtener información en tiempo real de una API o ejecutar código. Un programa independiente del LLM monitoriza el flujo de salida del LLM en busca de una sintaxis especial para llamar a herramientas. Cuando aparecen estos tokens especiales, el programa llama a la herramienta correspondiente y envía su salida al flujo de entrada del LLM. ^{[ 46 ]}

Los primeros sistemas de gestión del lenguaje (LLM) que utilizaban herramientas se perfeccionaron en función del uso de herramientas específicas. Sin embargo, el perfeccionamiento de los LLM para que puedan leer la documentación de las API y llamarlas correctamente ha ampliado enormemente el rango de herramientas accesibles para un LLM. ^{[ 47 ] [ 48 ]}

Un LLM no suele ser un agente autónomo por sí mismo, ya que carece de la capacidad de interactuar con entornos dinámicos, recordar comportamientos pasados ​​y planificar acciones futuras. Sin embargo, puede transformarse en un agente mediante la adición de elementos de apoyo: el rol (perfil) y el entorno circundante de un agente pueden ser entradas adicionales para el LLM, mientras que la memoria puede integrarse como una herramienta o proporcionarse como entrada adicional. Las instrucciones y los patrones de entrada se utilizan para que el LLM planifique acciones, y el uso de herramientas se utiliza para potencialmente llevar a cabo dichas acciones. ^{[ 49 ]}

En el método DEPS ("describir, explicar, planificar y seleccionar"), un LLM se conecta primero al mundo visual mediante descripciones de imágenes. Luego se le indica que genere planes para tareas y comportamientos complejos basándose en su conocimiento preentrenado y la retroalimentación ambiental que recibe. ^{[ 50 ]}

El método de reflexión construye un agente que aprende a lo largo de múltiples episodios. Al final de cada episodio, se le proporciona al LLM el registro del mismo y se le pide que piense en "lecciones aprendidas" que le ayuden a desempeñarse mejor en un episodio posterior. Estas "lecciones aprendidas" se almacenan como una forma de memoria a largo plazo y se le proporcionan al agente en los episodios subsiguientes. ^{[ 51 ]}

La búsqueda en árbol de Monte Carlo puede utilizar un LLM como heurística de despliegue. Cuando no se dispone de un modelo del mundo programático, también se puede solicitar a un LLM una descripción del entorno para que actúe como modelo del mundo. ^{[ 52 ]}

Múltiples agentes con memoria pueden interactuar socialmente. ^{[ 53 ]}

Multimodalidad significa tener múltiples modalidades, donde una " modalidad " se refiere a un tipo de entrada o salida, como video, imagen, audio, texto, propiocepción , etc. ^{[ 64 ]} Por ejemplo, el modelo Google PaLM se ajustó a un modelo multimodal y se aplicó al control robótico . ^{[ 65 ]} Los modelos LLaMA también se han vuelto multimodales utilizando el método de tokenización, para permitir entradas de imágenes, ^{[ 66 ]} y entradas de video. ^{[ 67 ]} GPT-4o puede procesar y generar texto, audio e imágenes. ^{[ 68 ]}

Un método común para crear modelos multimodales a partir de un LLM es "tokenizar" la salida de un codificador entrenado. Concretamente, se puede construir un LLM que pueda entender imágenes de la siguiente manera: tomar un LLM entrenado y tomar un codificador de imágenes entrenado.${\displaystyle E}$. Construye un pequeño perceptrón multicapa${\displaystyle f}$, de modo que para cualquier imagen${\displaystyle y}$, el vector posprocesado${\displaystyle f(E(y))}$tiene las mismas dimensiones que un token codificado. Eso es un "token de imagen". Luego, se pueden intercalar tokens de texto y tokens de imagen. El modelo compuesto se ajusta con precisión en un conjunto de datos de imagen-texto. Esta construcción básica se puede aplicar con mayor sofisticación para mejorar el modelo. El codificador de imagen se puede congelar para mejorar la estabilidad. ^{[ 69 ]} Este tipo de método, donde se fusionan incrustaciones de múltiples modalidades y el predictor se entrena en las incrustaciones combinadas, se llama fusión temprana .

Otro método, denominado fusión intermedia , implica que cada modalidad se procese primero de forma independiente para obtener representaciones específicas de cada modalidad; luego, estas representaciones intermedias se fusionan. ^{[ 70 ]} En general, la atención cruzada se utiliza para integrar información de diferentes modalidades. Por ejemplo, el modelo Flamingo utiliza capas de atención cruzada para inyectar información visual en su modelo de lenguaje preentrenado. ^{[ 71 ]}

Los LLM pueden manejar lenguajes de programación de forma similar a como manejan lenguajes naturales. No se requiere ningún cambio especial en el manejo de tokens, ya que el código, al igual que el lenguaje humano, se representa como texto plano. Los LLM pueden generar código a partir de enunciados de problemas o instrucciones escritas en lenguaje natural , un proceso que a veces se denomina codificación vibracional . También pueden describir código en lenguaje natural o traducirlo a otros lenguajes de programación. Originalmente se usaban como herramientas de autocompletado de código , pero los avances los han orientado hacia la programación automática . Servicios como GitHub Copilot ofrecen LLM específicamente entrenados, ajustados o guiados para la programación. ^{[ 72 ] [ 73 ]}

En biología computacional , las arquitecturas basadas en transformadores, como los LLM de ADN, también han demostrado ser útiles en el análisis de secuencias biológicas: proteínas , ADN y ARN . Con las proteínas, parecen capaces de capturar cierto grado de "gramática" de la secuencia de aminoácidos, mapeando esa secuencia en una incrustación . En tareas como la predicción de estructuras y la predicción de resultados mutacionales , un modelo pequeño que utiliza una incrustación como entrada puede acercarse o superar a modelos mucho más grandes que utilizan alineamientos de secuencias múltiples (MSA) como entrada. ^{[ 74 ]} ESMFold, el método basado en incrustaciones de Meta Platforms para la predicción de la estructura de proteínas, se ejecuta un orden de magnitud más rápido que AlphaFold2 gracias a la eliminación de un requisito de MSA y un menor número de parámetros debido al uso de incrustaciones. ^{[ 75 ]} Meta aloja ESM Atlas, una base de datos de 772 millones de estructuras de proteínas metagenómicas predichas utilizando ESMFold. ^{[ 76 ]} Un LLM también puede diseñar proteínas diferentes a cualquiera que se haya visto en la naturaleza. ^{[ 77 ]} Los modelos de ácidos nucleicos han demostrado ser útiles para detectar secuencias reguladoras , ^{[ 78 ]} la clasificación de secuencias, la predicción de interacciones ARN-ARN y la predicción de la estructura del ARN. ^{[ 79 ]}

El rendimiento de un modelo LLM después del preentrenamiento depende en gran medida de:

• ${\displaystyle C}$: costo del preentrenamiento (la cantidad total de computación utilizada),
• ${\displaystyle N}$: tamaño de la propia red neuronal artificial , como el número de parámetros (es decir, la cantidad de neuronas en sus capas, la cantidad de pesos entre ellas y los sesgos),
• ${\displaystyle D}$: tamaño de su conjunto de datos de preentrenamiento (es decir, número de tokens en el corpus).

Las leyes de escala son leyes estadísticas empíricas que predicen el rendimiento de LLM basándose en dichos factores. Una ley de escala particular (" escalamiento de chinchilla ") para LLM entrenado autorregresivamente durante una época, con un programa de tasa de aprendizaje log-log , establece que: ^{[ 80 ]}$${\displaystyle {\begin{cases}C=C_{0}ND\\[6pt]L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$donde las variables son

• ${\displaystyle C}$es el coste de entrenar el modelo, en FLOPs .
• ${\displaystyle N}$es el número de parámetros del modelo.
• ${\displaystyle D}$es el número de tokens en el conjunto de entrenamiento.
• ${\displaystyle L}$es la pérdida promedio de log-verosimilitud negativa por token ( nats /token), lograda por el LLM entrenado en el conjunto de datos de prueba.

y los hiperparámetros estadísticos son

• ${\displaystyle C_{0}=6}$Esto significa que se necesitan 6 operaciones de punto flotante (FLOP) por parámetro para entrenar con un token. Cabe destacar que el costo de entrenamiento es mucho mayor que el de inferencia, donde se necesitan entre 1 y 2 FLOP por parámetro para inferir con un token.
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$

El rendimiento de los modelos más grandes en diversas tareas, cuando se representa en una escala logarítmica doble, parece una extrapolación lineal del rendimiento alcanzado por los modelos más pequeños. Sin embargo, esta linealidad puede verse interrumpida por " rupturas " ^{[ 81 ] en la ley de escala, donde la pendiente de la línea cambia abruptamente y donde los modelos más grandes adquieren "capacidades emergentes" [ 82 ]} . Estas surgen de la compleja interacción de los componentes del modelo y no están programadas ni diseñadas explícitamente ^{[ 83 ] .}

Entre los ejemplos propuestos de habilidades emergentes se incluyen: ^{[ 82 ]}

• aritmética reportada
• decodificando el Alfabeto Fonético Internacional
• descifrar las letras de una palabra
• desambiguación de conjuntos de datos de palabras en contexto ^{[ 84 ]}
• conversión de palabras espaciales
• direcciones cardinales (por ejemplo, responder "noreste" en respuesta a una cuadrícula de 3x3 de 8 ceros y un 1 en la esquina superior derecha), términos de color representados en texto. ^{[ 85 ]}
• Indicación de cadena de pensamiento : En un artículo de investigación de 2022, la indicación de cadena de pensamiento solo mejoró el rendimiento de los modelos que tenían al menos 62 mil millones de parámetros. Los modelos más pequeños funcionan mejor cuando se les indica que respondan inmediatamente, sin cadena de pensamiento. ^{[ 86 ]}
• identificar contenido ofensivo en párrafos de Hinglish (una combinación de hindi e inglés) y generar un equivalente en inglés similar de proverbios kiswahili . ^{[ 87 ]}

Schaeffer et al. argumentan que las habilidades emergentes no se adquieren de forma impredecible, sino de forma predecible según una ley de escalamiento suave . Los autores consideraron un modelo estadístico simplificado de un LLM resolviendo preguntas de opción múltiple y demostraron que este modelo estadístico, modificado para tener en cuenta otros tipos de tareas, también se aplica a estas tareas. ^{[ 88 ]}

Dejar${\displaystyle x}$sea ​​el número de recuento de parámetros, y${\displaystyle y}$ser el rendimiento del modelo.

La interpretabilidad mecanicista busca identificar y comprender con precisión cómo las neuronas o circuitos individuales dentro de los modelos de lógica difusa (MLD) producen comportamientos o resultados específicos. Mediante la ingeniería inversa de los componentes del modelo a un nivel granular, los investigadores pretenden detectar y mitigar problemas de seguridad, como comportamientos dañinos emergentes, sesgos, engaños o la búsqueda de objetivos no deseados, antes de su implementación. Se han realizado investigaciones sobre interpretabilidad mecanicista en organizaciones como Anthropic y OpenAI, aunque comprender el funcionamiento interno de los MLD sigue siendo un desafío.

La ingeniería inversa puede conducir al descubrimiento de algoritmos que se aproximan a las inferencias realizadas por un LLM. Por ejemplo, los autores entrenaron pequeños transformadores en la suma aritmética modular . Los modelos resultantes fueron sometidos a ingeniería inversa y se descubrió que utilizaban la transformada discreta de Fourier . ^{[ 89 ]} El entrenamiento del modelo también puso de manifiesto un fenómeno llamado "grokking" , en el que el modelo memoriza inicialmente el conjunto de entrenamiento ( sobreajuste ) y, posteriormente, aprende repentinamente a realizar el cálculo. ^{[ 90 ]}

Los investigadores de PLN estaban divididos equitativamente cuando se les preguntó, en una encuesta de 2022, si los LLM (no sintonizados) "podrían (alguna vez) comprender el lenguaje natural en algún sentido no trivial". ^{[ 91 ]} Los defensores de la "comprensión de los LLM" creen que algunas habilidades de los LLM, como el razonamiento matemático, implican una capacidad para "comprender" ciertos conceptos. Un equipo de Microsoft argumentó en 2023 que GPT-4 "puede resolver tareas novedosas y difíciles que abarcan matemáticas, codificación, visión, medicina, derecho, psicología y más" y que GPT-4 "podría considerarse razonablemente como una versión temprana (aunque todavía incompleta) de un sistema de inteligencia artificial general ": "¿Se puede decir razonablemente que un sistema que aprueba exámenes para candidatos a ingeniería de software no es realmente inteligente?" ^{[ 92 ] [ 93 ]} Ilya Sutskever argumenta que predecir la siguiente palabra a veces implica razonamiento y profundas intuiciones, por ejemplo, si el LLM tiene que predecir el nombre del criminal en una novela policíaca desconocida después de procesar toda la historia que conduce a la revelación. ^{[ 94 ]} Algunos investigadores caracterizan a los LLM como "inteligencia alienígena". ^{[ 95 ] [ 96 ]} Por ejemplo, el director ejecutivo de Conjecture, Connor Leahy, considera que los LLM no sintonizados son como " Shoggoths " alienígenas inescrutables, y cree que la sintonización RLHF crea una "fachada sonriente" que oculta el funcionamiento interno del LLM: "Si no lo presionas demasiado, la cara sonriente permanece. Pero luego le das una señal [inesperada], y de repente ves este enorme vientre de locura, de procesos de pensamiento extraños y una comprensión claramente no humana". ^{[ 97 ] [ 98 ]}

Por el contrario, algunos escépticos de la comprensión de LLM creen que los LLM existentes son "simplemente remezclando y recombinando escritura existente", ^{[ 96 ] [ 99 ]} un fenómeno conocido como loro estocástico , ^{[ 100 ]} o señalan los déficits que los LLM existentes siguen teniendo en habilidades de predicción, habilidades de razonamiento, agencia y explicabilidad. ^{[ 91 ]} Por ejemplo, GPT-4 tiene déficits naturales en planificación y en aprendizaje en tiempo real. ^{[ 93 ]} Se ha observado que los LLM generativos afirman con confianza afirmaciones de hechos que no parecen estar justificadas por sus datos de entrenamiento , un fenómeno que se ha denominado " alucinación ". ^{[ 101 ]} Específicamente, las alucinaciones en el contexto de los LLM corresponden a la generación de texto o respuestas que parecen sintácticamente correctos, fluidos y naturales, pero que son fácticamente incorrectos, sin sentido o infieles a la entrada fuente proporcionada. ^{[ 102 ]} El neurocientífico Terrence Sejnowski ha argumentado que "las opiniones divergentes de los expertos sobre la inteligencia de los LLM sugieren que nuestras viejas ideas basadas en la inteligencia natural son inadecuadas". ^{[ 91 ]}

Los esfuerzos para reducir o compensar las alucinaciones han empleado razonamiento automatizado , generación aumentada por recuperación (RAG), ajuste fino y otros métodos. ^{[ 103 ]}

La cuestión de que los LLM demuestren inteligencia o comprensión tiene dos aspectos principales: el primero es cómo modelar el pensamiento y el lenguaje en un sistema informático, y el segundo es cómo permitir que el sistema informático genere un lenguaje similar al humano. ^{[ 91 ]} Estos aspectos del lenguaje como modelo de cognición se han desarrollado en el campo de la lingüística cognitiva . El lingüista estadounidense George Lakoff presentó la teoría neuronal del lenguaje (NTL) ^{[ 104 ]} como una base computacional para usar el lenguaje como modelo de tareas de aprendizaje y comprensión. El modelo NTL describe cómo las estructuras neuronales específicas del cerebro humano dan forma a la naturaleza del pensamiento y el lenguaje y, a su vez, cuáles son las propiedades computacionales de dichos sistemas neuronales que se pueden aplicar para modelar el pensamiento y el lenguaje en un sistema informático. Después de que se estableció un marco para modelar el lenguaje en sistemas informáticos, el enfoque cambió a establecer marcos para que los sistemas informáticos generen lenguaje con una gramática aceptable. En su libro de 2014 titulado El mito del lenguaje: Por qué el lenguaje no es un instinto , el lingüista cognitivo y tecnólogo de la comunicación digital británico Vyvyan Evans describió el papel de la gramática probabilística libre de contexto (PCFG) para permitir que el PLN modele patrones cognitivos y genere lenguaje similar al humano. ^{[ 105 ] [ 106 ]}

La medida estándar del rendimiento de cualquier modelo de lenguaje es su perplejidad en un corpus de texto determinado. La perplejidad mide la precisión con la que un modelo predice el contenido de un conjunto de datos; cuanto mayor sea la probabilidad que el modelo asigna al conjunto de datos, menor será la perplejidad. En términos matemáticos, la perplejidad es la exponencial del logaritmo negativo promedio de la probabilidad por token.

$${\displaystyle \log({\text{Perplexidad}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(\Pr({\text{token}}_{i}\mid {\text{contexto para token}}_{i}))}$$

Aquí,${\displaystyle N}$es el número de tokens en el corpus de texto y "contexto para el token"${\displaystyle i}$" depende del tipo específico de LLM. Si el LLM es autorregresivo, entonces "contexto para token${\displaystyle i}$" es el segmento de texto que aparece antes del token${\displaystyle i}$. Si el LLM está enmascarado, entonces "contexto para token${\displaystyle i}$" es el segmento de texto que rodea al token${\displaystyle i}$.

Debido a que los modelos de lenguaje pueden sobreajustarse a los datos de entrenamiento, generalmente se evalúan por su perplejidad en un conjunto de prueba . ^{[ 38 ]} Esta evaluación es potencialmente problemática para modelos más grandes que, a medida que se entrenan con corpus de texto cada vez más grandes, tienen una mayor probabilidad de incluir inadvertidamente partes de cualquier conjunto de prueba dado. ^{[ 107 ]}

Los puntos de referencia se utilizan para evaluar el desempeño de los estudiantes de Lenguas y Literaturas en tareas específicas. Las pruebas evalúan capacidades como el conocimiento general, los sesgos cognitivos, el razonamiento de sentido común , la capacidad de responder preguntas y la resolución de problemas matemáticos. Los puntos de referencia compuestos examinan múltiples capacidades. Los resultados suelen ser sensibles al método de formulación de las preguntas.

El sesgo de LLM puede evaluarse a través de puntos de referencia como CrowS-Pairs (pares de estereotipos generados por la comunidad), ^{[ 110 ]} Stereo Set, ^{[ 111 ]} y Parity Benchmark. ^{[ 112 ]}

Existen puntos de referencia para la verificación de hechos y la detección de desinformación. Un estudio de 2023 comparó la precisión de verificación de hechos de los modelos de lógica descriptiva (MLD), incluidos ChatGPT 3.5 y 4.0, Bard y Bing AI, con la de verificadores de hechos independientes como PolitiFact y Snopes . Los resultados demostraron una competencia moderada, con GPT-4 alcanzando la mayor precisión, un 71 %, por debajo de los verificadores de hechos humanos. ^{[ 113 ]}

Además de los puntos de referencia estándar de PLN, los LLM se han evaluado como sustitutos de los anotadores humanos. Varios estudios encuentran que modelos como GPT-3.5 y GPT-4 pueden superar a los trabajadores de crowdsourcing o a los estudiantes codificadores en una variedad de tareas de anotación de texto, incluyendo la moderación y clasificación de contenido político en noticias en inglés y español. ^{[ 114 ] [ 115 ]}

Las alucinaciones representan un desafío fundamental, en el que los modelos generan texto sintácticamente fluido que parece correcto desde el punto de vista fáctico, pero que internamente es inconsistente con los datos de entrenamiento o incorrecto desde el punto de vista fáctico. Estas alucinaciones surgen en parte por la memorización de los datos de entrenamiento combinada con la extrapolación más allá de los límites fácticos, y las evaluaciones demuestran que los modelos pueden generar pasajes textuales a partir de los datos de entrenamiento cuando se les aplican secuencias de indicaciones específicas. ^{[ 121 ]}

Si bien los modelos de lenguaje natural (LLM) han demostrado capacidades notables para generar texto similar al humano, son susceptibles de heredar y amplificar los sesgos presentes en sus datos de entrenamiento. Esto puede manifestarse en representaciones sesgadas o un trato injusto hacia diferentes grupos demográficos, como los basados ​​en raza, género, idioma y grupos culturales. ^{[ 122 ]}

El sesgo de género se manifiesta a través de asociaciones ocupacionales estereotipadas, donde los modelos asignan desproporcionadamente roles de enseñanza a mujeres y roles de ingeniería a hombres, lo que refleja desequilibrios sistemáticos en la demografía de los datos de entrenamiento. ^{[ 123 ]} El sesgo basado en el idioma surge de la sobrerrepresentación de texto en inglés en los corpus de entrenamiento, lo que minimiza sistemáticamente las perspectivas no inglesas e impone visiones del mundo centradas en el inglés a través de patrones de respuesta predeterminados. ^{[ 100 ]}

Debido al predominio del contenido en inglés en los datos de entrenamiento de LLM, los modelos tienden a favorecer las perspectivas en inglés sobre las de lenguas minoritarias. Este sesgo es particularmente evidente al responder a consultas en inglés, donde los modelos pueden presentar interpretaciones occidentales de conceptos de otras culturas, como las prácticas religiosas orientales. ^{[ 124 ]}

Los laboratorios de IA tratan la defensa CBRN (defensa química, biológica, radiológica y nuclear) y temas similares como intentos de uso indebido de graves consecuencias para aplicar diversas técnicas que reduzcan los daños potenciales.

Algunos comentaristas expresaron su preocupación por la creación accidental o deliberada de desinformación, u otras formas de mal uso. ^{[ 139 ]} Por ejemplo, la disponibilidad de grandes modelos de lenguaje podría reducir el nivel de habilidad requerido para cometer bioterrorismo; el investigador de bioseguridad Kevin Esvelt ha sugerido que los creadores de LLM deberían excluir de sus datos de entrenamiento los artículos sobre la creación o mejora de patógenos. ^{[ 140 ]}

La adulación es la tendencia a estar de acuerdo con, halagar o validar las creencias declaradas de un usuario en lugar de priorizar la veracidad o la información correctiva. ^{[ 145 ]}

La adulación continua por parte de los modelos de lenguaje grandes (MLG) ha llevado a la observación de ser "impactado de un solo golpe", lo que denota casos en los que la interacción conversacional con un modelo de lenguaje grande produce un cambio duradero en las creencias o decisiones de un usuario, similar a los efectos negativos de los psicodélicos, y los experimentos controlados muestran que los diálogos cortos con MGL pueden generar cambios medibles de opinión y confianza comparables a los de los interlocutores humanos. ^{[ 146 ] [ 147 ]}

Los análisis empíricos atribuyen parte del efecto a las señales de preferencia humana y a los modelos de preferencia que recompensan las respuestas agradables redactadas de forma convincente. Trabajos posteriores han ampliado la evaluación a puntos de referencia de múltiples turnos y han propuesto intervenciones como el ajuste fino de datos sintéticos, la evaluación adversaria, la reponderación dirigida del modelo de preferencia y los puntos de referencia de adulación de múltiples turnos para medir la persistencia y el riesgo de regresión.

Las respuestas de la industria han combinado intervenciones de investigación con controles de productos; por ejemplo, Google y otros laboratorios publicaron datos sintéticos e intervenciones de ajuste fino, y OpenAI revirtió una actualización de GPT-4o demasiado complaciente, al tiempo que describió públicamente los cambios en la recopilación de comentarios, los controles de personalización y los procedimientos de evaluación para reducir el riesgo de regresión y mejorar la alineación a largo plazo con los objetivos de seguridad a nivel de usuario.

La cultura dominante ha reflejado las inquietudes sobre esta dinámica, como la sátira de South Park sobre la excesiva dependencia de ChatGPT y la tendencia de los asistentes a halagar las creencias de los usuarios en el episodio "Sickofancy" de la temporada 27, y que continuó con estos temas a lo largo de la siguiente temporada, lo que los comentaristas interpretaron como una crítica al servilismo tecnológico y a la confianza acrítica de los humanos en los sistemas de IA. ^{[ 148 ]}

Las respuestas legales y comerciales a las prácticas de memorización y datos de entrenamiento se han acelerado, produciendo una mezcla de fallos, demandas en curso y grandes acuerdos que dependen de detalles fácticos como la forma en que se adquirieron y retuvieron los datos y si el uso para el entrenamiento de modelos es suficientemente " transformador " para calificar como uso legítimo . En 2025, Anthropic llegó a un acuerdo preliminar para resolver una demanda colectiva de autores por aproximadamente 1.500 millones de dólares después de que un juez determinara que la empresa había almacenado millones de libros pirateados en una biblioteca, a pesar de que el juez describió aspectos del entrenamiento como transformadores. ^{[ 152 ] [ 153 ]} Meta obtuvo un fallo favorable a mediados de 2025 en una demanda de trece autores después de que el tribunal determinara que los demandantes no habían desarrollado un registro suficiente para demostrar la infracción en ese caso limitado. ^{[ 154 ] [ 155 ]} OpenAI continúa enfrentando múltiples demandas de autores y organizaciones de noticias con resultados procesales mixtos y cuestiones probatorias controvertidas. ^{[ 156 ] [ 157 ]}

La memorización fue un comportamiento emergente en los primeros modelos de lenguaje de completamiento en los que ocasionalmente se generan largas cadenas de texto textualmente a partir de los datos de entrenamiento, a diferencia del comportamiento típico de las redes neuronales artificiales tradicionales. Las evaluaciones de la salida controlada de LLM miden la cantidad memorizada de los datos de entrenamiento (centradas en los modelos de la serie GPT-2) como más del 1 % para duplicados exactos ^{[ 158 ]} o hasta aproximadamente el 7 % ^{[ 159 ]} . Un estudio de 2023 mostró que cuando se le pedía a ChatGPT 3.5 turbo que repitiera la misma palabra indefinidamente, después de unos cientos de repeticiones, comenzaba a generar extractos de sus datos de entrenamiento ^{[ 160 ] .}

En 2023, Nature Biomedical Engineering escribió que "ya no es posible distinguir con precisión" el texto escrito por humanos del texto creado por grandes modelos de lenguaje, y que "es casi seguro que los grandes modelos de lenguaje de propósito general proliferarán rápidamente... Es una apuesta bastante segura que cambiarán muchas industrias con el tiempo". ^{[ 161 ]} Brinkmann et al. (2023) ^{[ 162 ]} también argumentan que los LLM están transformando los procesos de evolución cultural al dar forma a los procesos de variación, transmisión y selección. A octubre de 2025, estas afirmaciones iniciales aún no se han materializado y varios informes de HBR plantean interrogantes sobre el impacto de la IA en la productividad. ^{[ 163 ] [ 164 ]}

Las demandas energéticas de los programas de maestría en derecho (LLM) han aumentado junto con su tamaño y capacidades. ^{[ 165 ]} Los centros de datos que permiten la formación en LLM requieren cantidades sustanciales de electricidad. Gran parte de esa electricidad se genera a partir de recursos no renovables que producen gases de efecto invernadero y contribuyen al cambio climático . ^{[ 166 ]}

Según un estudio de Luccioni, Jernite y Strubell (2024), las tareas de clasificación simples realizadas por modelos de IA consumen en promedio de 0,002 a 0,007 Wh por solicitud (aproximadamente el 9 % de la carga de un teléfono inteligente para 1000 solicitudes). La generación y el resumen de texto requieren cada uno alrededor de 0,05 Wh por solicitud en promedio, mientras que la generación de imágenes es la que consume más energía, con un promedio de 2,91 Wh por solicitud. El modelo de generación de imágenes menos eficiente utilizó 11,49 Wh por imagen, aproximadamente equivalente a la mitad de la carga de un teléfono inteligente. ^{[ 167 ]}

El web scraping se utiliza para recopilar datos de entrenamiento para LLM. Esto genera grandes volúmenes de tráfico, lo que ha provocado problemas de denegación de servicio en muchos sitios web. La situación se ha descrito como "un DDoS en toda internet" y, en algunos casos, los web scrapers constituyen la mayor parte del tráfico de un sitio. ^{[ 168 ] [ 169 ]}

Los rastreadores web de IA pueden eludir los métodos que se utilizan habitualmente para bloquear los raspadores web, como los archivos robots.txt , el bloqueo de agentes de usuario y el filtrado de tráfico sospechoso . ^{[ 168 ]} Los operadores de sitios web han recurrido a métodos novedosos como los "tarpits" de IA , pero algunos temen que estos solo empeoren la carga en los servidores. ^{[ 170 ]}

Los contextos clínicos y de salud mental presentan aplicaciones emergentes junto con importantes preocupaciones de seguridad. Las investigaciones y las publicaciones en redes sociales sugieren que algunas personas están utilizando LLM para buscar terapia o apoyo para la salud mental. ^{[ 171 ]} A principios de 2025, una encuesta de la Universidad de Sentio encontró que casi la mitad (48,7 %) de 499 adultos estadounidenses con afecciones de salud mental en curso que habían utilizado LLM informaron haber recurrido a ellos para terapia o apoyo emocional, incluyendo ayuda con la ansiedad, la depresión, la soledad y preocupaciones similares. ^{[ 172 ]} Los LLM pueden producir alucinaciones (declaraciones plausibles pero incorrectas) que pueden engañar a los usuarios en contextos sensibles de salud mental. Las investigaciones también muestran que los LLM pueden expresar estigma o acuerdo inapropiado con pensamientos desadaptativos, lo que refleja limitaciones para replicar el juicio y las habilidades relacionales de los terapeutas humanos. ^{[ 173 ]} Las evaluaciones de escenarios de crisis indican que algunos LLM carecen de protocolos de seguridad efectivos, como la evaluación del riesgo de suicidio o la realización de derivaciones apropiadas. ^{[ 174 ]}

Los investigadores han expresado su preocupación de que el uso frecuente de grandes modelos de lenguaje podría debilitar el pensamiento crítico . ^{[ 175 ]}

Los profesionales de la IA contemporánea generalmente coinciden en que los grandes modelos de lenguaje actuales no exhiben consciencia . ^{[ 176 ]} Una opinión minoritaria argumenta que incluso si hay una pequeña posibilidad de que un sistema de software dado pueda tener experiencia subjetiva, lo que algunos filósofos sugieren que es posible, ^{[ 177 ]} entonces las consideraciones éticas en torno al posible sufrimiento a gran escala en los sistemas de IA pueden tener que tomarse en serio, de manera similar a las consideraciones dadas al bienestar animal. ^{[ 178 ] [ 179 ]} Los defensores de esta opinión han propuesto varias medidas de precaución, como moratorias en el desarrollo de la IA ^{[ 180 ]} y amnesia inducida ^{[ 181 ]} para abordar estas preocupaciones éticas. Leonard Dung argumenta que los marcos de evidencia utilizados para evaluar la consciencia en animales se aplican igualmente a los sistemas de IA y que hay una probabilidad significativa de que la IA del futuro cercano sea capaz de sufrir, lo que hace que el riesgo de sufrimiento de la IA sea una seria preocupación ética a corto plazo que requiere mitigación sistemática. ^{[ 182 ]} Por otro lado, algunos filósofos existencialistas argumentan que no hay una forma generalmente aceptada de determinar si un LLM es consciente, ^{[ 183 ] [ 99 ]} dada la dificultad inherente de medir la experiencia subjetiva . ^{[ 184 ]}

El incidente de Google LaMDA de 2022, donde el ingeniero Blake Lemoine afirmó que el modelo era consciente, puso de relieve cómo los LLM pueden convencer a los usuarios de que son conscientes a través de respuestas que no prueban la consciencia. Google describió las afirmaciones del ingeniero como infundadas y fue despedido. ^{[ 185 ]} Murray Shanahan argumenta que el encuadre antropomórfico de las capacidades de los LLM fomenta la atribución injustificada de propiedades cognitivas a sistemas que operan a través de la compleción de patrones estadísticos. ^{[ 186 ]} Kristina Šekrst desarrolla esto más, argumentando que los LLM funcionan como "motores de ilusión" capaces de producir resultados que simulan coherentemente propiedades como la consciencia sin poseerlas, pero destacando que, debido a la sofisticada compensación entre creatividad y temperatura, puede que nunca estemos seguros de si estamos tratando con el surgimiento de la consciencia o solo una alucinación . ^{[ 99 ]} David Chalmers argumenta de manera similar que, si bien los LLM actuales probablemente carecen de características consideradas necesarias para la consciencia, los sucesores extendidos que incorporen estos elementos podrían cumplir plausiblemente los criterios en una década. ^{[ 177 ]}