Ingeniería rápida

Una indicación es un texto en lenguaje natural que describe y prescribe la tarea que una inteligencia artificial (IA) debe realizar. ^{[ 3 ]} Una indicación para un modelo de lenguaje de texto a texto puede ser una consulta, un comando o una declaración más larga que haga referencia al contexto, las instrucciones y el historial de la conversación. El proceso de ingeniería de indicaciones puede implicar el diseño de consultas claras, el refinamiento de la redacción, la provisión de contexto relevante, la especificación del estilo de salida y la asignación de un carácter para que la IA lo imite con el fin de guiar al modelo hacia respuestas más precisas, útiles y consistentes. ^{[ 4 ] [ 5 ]}

Al comunicarse con un modelo de texto a imagen o de texto a audio, una solicitud típica contiene una descripción del resultado deseado, como "una foto de alta calidad de un astronauta montando a caballo" ^{[ 6 ]} o "electro chill lo-fi de ritmo lento con samples orgánicos" ^{[ 7 ]} . La ingeniería de solicitudes puede aplicarse a los modelos de texto a imagen para lograr el tema, el estilo, el diseño, la iluminación y la estética deseados ^{[ 8 ] .}

Los términos comunes utilizados para describir diversas técnicas específicas de ingeniería de indicaciones incluyen cadena de pensamiento , ^{[ 9 ]} árbol de pensamiento , ^{[ 10 ]} y generación aumentada por recuperación (RAG). ^{[ 11 ]} Un estudio de 2024 sobre el campo identificó más de 50 técnicas distintas de indicaciones basadas en texto, 40 variantes multimodales y un vocabulario de 33 términos utilizados en la investigación sobre indicaciones, lo que pone de manifiesto la actual falta de terminología estandarizada para la ingeniería de indicaciones. ^{[ 12 ]}

La codificación Vibe es un método de desarrollo de software asistido por IA en el que un usuario le indica a un LLM (Lenguaje de Lenguaje de Señas) una descripción de lo que desea y le permite generar o editar el código. En 2025, "codificación Vibe" fue la palabra del año del Diccionario Collins . ^{[ 13 ]}

La ingeniería de contexto es un proceso relacionado que se centra en los elementos de contexto que acompañan a las indicaciones del usuario, que incluyen instrucciones del sistema, conocimiento recuperado, definiciones de herramientas, resúmenes de conversaciones y metadatos de tareas. La ingeniería de contexto se realiza para mejorar la fiabilidad, la procedencia y la eficiencia de los tokens en los sistemas LLM de producción . ^{[ 14 ] [ 15 ]} El concepto enfatiza prácticas operativas como la presupuestación de tokens, las etiquetas de procedencia, el versionado de artefactos de contexto, la observabilidad (registro del contexto proporcionado) y las pruebas de regresión de contexto para garantizar que los cambios en el contexto proporcionado no alteren silenciosamente el comportamiento del sistema. ^{[ 16 ]}

La capacidad de un modelo para aprender temporalmente a partir de indicaciones se conoce como aprendizaje en contexto . El aprendizaje en contexto es una capacidad emergente ^{[ 17 ]} de los modelos de lenguaje grandes. Es una propiedad emergente de la escala del modelo, lo que significa que se producen rupturas en las leyes de escala , lo que lleva a que su eficacia aumente a un ritmo diferente en modelos más grandes que en modelos más pequeños. ^{[ 17 ] [ 18 ]} A diferencia del entrenamiento y el ajuste fino , que producen cambios duraderos, el aprendizaje en contexto es temporal. ^{[ 19 ]} Entrenar modelos para realizar aprendizaje en contexto puede considerarse una forma de metaaprendizaje , o "aprender a aprender". ^{[ 20 ]}

La investigación demuestra consistentemente que los LLM son altamente sensibles a variaciones sutiles en el formato, la estructura y las propiedades lingüísticas de las indicaciones. Algunos estudios han mostrado hasta 76 puntos de precisión en cambios de formato en entornos con pocos ejemplos. ^{[ 21 ]} Las características lingüísticas influyen significativamente en la efectividad de las indicaciones, como la morfología, la sintaxis y los cambios léxico-semánticos, que mejoran significativamente el rendimiento en una variedad de tareas. ^{[ 5 ] [ 22 ]} La sintaxis de las cláusulas, por ejemplo, mejora la consistencia y reduce la incertidumbre en la recuperación del conocimiento. ^{[ 23 ]} Esta sensibilidad persiste incluso con tamaños de modelo más grandes, ejemplos adicionales con pocos ejemplos o ajuste de las instrucciones.

Para abordar la sensibilidad de los modelos y hacerlos más robustos, se han propuesto varios métodos de evaluación. FormatSpread facilita el análisis sistemático al evaluar una gama de formatos de indicaciones plausibles, ofreciendo un intervalo de rendimiento más completo. ^{[ 21 ]} De manera similar, PromptEval estima las distribuciones de rendimiento en diversas indicaciones, lo que permite métricas robustas como cuantiles de rendimiento y evaluaciones precisas con presupuestos limitados. ^{[ 24 ]}

Una indicación puede incluir algunos ejemplos para que un modelo aprenda en contexto, una implementación de aprendizaje con pocos ejemplos para LLM. ^{[ 9 ] [ 25 ] [ 26 ]} Por ejemplo, la indicación puede pedirle al modelo que complete " maison → house, chat → cat, chien → ", siendo la respuesta esperada dog. ^{[ 27 ]}

La inducción de cadena de pensamiento (CoT) es una técnica que permite a los grandes modelos de lenguaje (LLM) resolver un problema mediante una serie de pasos intermedios antes de dar una respuesta final. En 2022, Google Brain informó que la inducción de cadena de pensamiento mejora la capacidad de razonamiento al inducir al modelo a responder un problema de varios pasos con pasos de razonamiento que imitan un tren de pensamiento . ^{[ 9 ] [ 28 ]} Las técnicas de cadena de pensamiento se desarrollaron para ayudar a los LLM a manejar tareas de razonamiento de varios pasos, como preguntas de razonamiento aritmético o de sentido común . ^{[ 29 ] [ 30 ]}

Cuando se aplicó a PaLM , un modelo de lenguaje con 540 mil millones de parámetros , según Google, la incitación CoT ayudó significativamente al modelo, permitiéndole desempeñarse de manera comparable con modelos ajustados específicos para tareas en varias tareas, logrando resultados de vanguardia en ese momento en el conjunto de datos de razonamiento matemático GSM8K . ^{[ 9 ]} Es posible ajustar modelos en conjuntos de datos de razonamiento CoT para mejorar aún más esta capacidad y estimular una mejor interpretabilidad . ^{[ 31 ] [ 32 ]}

Como propuso originalmente Google, ^{[ 9 ]} cada indicación de CoT va acompañada de un conjunto de ejemplos de entrada/salida —llamados ejemplares— para demostrar el resultado deseado del modelo, lo que la convierte en una técnica de indicaciones con pocos ejemplos . Sin embargo, según un artículo posterior de investigadores de Google y la Universidad de Tokio , simplemente añadir las palabras "Pensemos paso a paso" ^{[ 33 ]} también resultó eficaz, lo que permitió emplear CoT como una técnica de cero ejemplos .

La generación de árboles de pensamiento generaliza la cadena de pensamiento al generar múltiples líneas de razonamiento en paralelo, con la capacidad de retroceder o explorar otros caminos. Puede utilizar algoritmos de búsqueda en árbol como búsqueda en amplitud , búsqueda en profundidad o búsqueda en haz . ^{[ 10 ]}

En 2022, se lanzaron al público modelos de conversión de texto a imagen como DALL-E 2 , Stable Diffusion y Midjourney . Estos modelos toman indicaciones de texto como entrada y las usan para generar imágenes. ^{[ 36 ] [ 8 ]} Los primeros modelos de conversión de texto a imagen generalmente no entienden la negación, la gramática y la estructura de las oraciones de la misma manera que los grandes modelos de lenguaje , y por lo tanto pueden requerir un conjunto diferente de técnicas de indicación. La indicación "una fiesta sin pastel" puede producir una imagen que incluya un pastel. ^{[ 37 ]}

Demostración del efecto de las indicaciones negativas en las imágenes generadas con Difusión Estable Arriba : sin indicación negativa Centro : "árboles verdes" Abajo : "piedras redondas, rocas redondas"

Una solicitud de conversión de texto a imagen suele incluir una descripción del tema de la obra de arte, el medio deseado (como pintura digital o fotografía ), el estilo (como hiperrealista o pop art ), la iluminación (como iluminación de contorno o rayos crepusculares ), el color y la textura. ^{[ 38 ]} El orden de las palabras también afecta el resultado de una solicitud de conversión de texto a imagen. Las palabras más cercanas al inicio de la solicitud pueden tener mayor énfasis. ^{[ 39 ]}

En 2023, la investigación en IA de Meta lanzó Segment Anything, un modelo de visión artificial que puede realizar la segmentación de imágenes mediante indicaciones. Como alternativa a las indicaciones de texto, Segment Anything puede aceptar cuadros delimitadores, máscaras de segmentación y puntos de primer plano/fondo. ^{[ 43 ]}

El proceso de escribir y refinar una indicación para un modelo de lenguaje natural (LLM) o una IA generativa comparte algunos paralelismos con un proceso de diseño de ingeniería iterativo, como el descubrimiento de mejores prácticas reutilizables mediante experimentación reproducible. Sin embargo, varias limitaciones fundamentales restringen su fiabilidad como disciplina. Las estrategias de indicación efectivas son altamente específicas del modelo; una técnica que mejora el rendimiento en un modelo puede degradarlo en otro, lo que dificulta la generalización. Las indicaciones también son frágiles: pequeños cambios superficiales en la redacción, la puntuación o el orden de las palabras pueden producir resultados drásticamente diferentes, incluso cuando la intención semántica permanece idéntica. ^{[ 44 ]} Esta inestabilidad dificulta el establecimiento de patrones de indicación duraderos y transferibles en diferentes contextos de implementación. ^{[ 45 ]} Además, a medida que los modelos de IA continúan mejorando su capacidad para interpretar directamente la intención del usuario, muchas técnicas manuales de indicación se están volviendo obsoletas. Los avances en el seguimiento de instrucciones y el razonamiento de modelos han reducido el valor marginal de la construcción elaborada de indicaciones para las tareas cotidianas, lo que plantea dudas sobre la viabilidad a largo plazo de la ingeniería de indicaciones como disciplina independiente. ^{[ 46 ]}

La generación aumentada por recuperación es una técnica que permite a los modelos GenAI recuperar e incorporar nueva información. Modifica las interacciones con un LLM para que el modelo responda a las consultas del usuario con referencia a un conjunto específico de documentos, utilizando esta información para complementar la información de sus datos de entrenamiento preexistentes . Esto permite a los LLM utilizar información específica del dominio y/o actualizada. ^{[ 11 ]}

RAG mejora los modelos de lenguaje a gran escala al incorporar la recuperación de información antes de generar respuestas. A diferencia de los modelos de lenguaje tradicionales que dependen de datos de entrenamiento estáticos, RAG extrae texto relevante de bases de datos, documentos cargados o fuentes web. Al recuperar información dinámicamente, RAG permite que la IA genere respuestas más precisas y menos errores de interpretación sin necesidad de reentrenamiento frecuente. ^{[ 48 ]}

GraphRAG (término acuñado por Microsoft Research ) es una técnica que extiende RAG mediante el uso de un grafo de conocimiento para permitir que el modelo conecte información dispar, sintetice ideas y comprenda conceptos semánticos resumidos en grandes conjuntos de datos. Se ha demostrado su eficacia en conjuntos de datos como la información sobre incidentes violentos de artículos de noticias. ^{[ 49 ] [ 50 ] [ 51 ]}

Los propios LLM se pueden utilizar para componer indicaciones para LLM. ^{[ 52 ]} El algoritmo de ingeniero de indicaciones automáticas utiliza un LLM para realizar una búsqueda en haz sobre indicaciones para otro LLM: ^{[ 53 ] [ 54 ]}

• Hay dos LLM. Uno es el LLM objetivo y el otro es el LLM de referencia.
• A la herramienta LLM se le presentan ejemplos de pares de entrada-salida y se le pide que genere instrucciones que, dadas las entradas, podrían haber provocado que un modelo, al seguir dichas instrucciones, generara las salidas.
• Cada una de las instrucciones generadas se utiliza para activar el LLM objetivo, seguido de cada una de las entradas. Se calculan y suman las probabilidades logarítmicas de las salidas. Este es el resultado de la instrucción.
• Las instrucciones con la puntuación más alta se entregan al LLM que las solicita para que realice variaciones adicionales.
• Repita el proceso hasta que se cumpla algún criterio de parada y, a continuación, muestre las instrucciones con la puntuación más alta.

Los ejemplos de CoT pueden ser generados por los propios LLM. En "auto-CoT", una biblioteca de preguntas se convierte en vectores mediante un modelo como BERT . Los vectores de preguntas se agrupan . Se seleccionan las preguntas cercanas al centroide de cada grupo para obtener un subconjunto de preguntas diversas. Un LLM realiza un CoT de cero disparos en cada pregunta seleccionada. La pregunta y la respuesta CoT correspondiente se añaden a un conjunto de datos de demostraciones. Estas demostraciones diversas pueden luego añadirse a las indicaciones para el aprendizaje con pocos disparos. ^{[ 55 ]}

Las técnicas de optimización automática de indicaciones refinan las indicaciones para modelos de lenguaje grandes mediante la búsqueda automática de cadenas de indicaciones alternativas utilizando conjuntos de datos de evaluación y métricas específicas de la tarea:

• MIPRO (Optimizador de Propuestas de Instrucciones Multi-prompt) optimiza las instrucciones y las demostraciones de pocos ejemplos de programas de modelos de lenguaje de múltiples etapas, proponiendo pequeños cambios en las indicaciones de los módulos y conservando aquellos que mejoran una métrica de rendimiento posterior sin acceso a etiquetas o gradientes a nivel de módulo. ^{[ 56 ]}
• GEPA (Genetic-Pareto) es un optimizador de indicaciones reflexivo para sistemas de IA compuestos que combina el análisis basado en modelos de lenguaje de trazas de ejecución y retroalimentación textual con una búsqueda evolutiva basada en Pareto sobre una población de sistemas candidatos; en cuatro tareas, GEPA reporta ganancias promedio de alrededor del 10% sobre la Optimización de Política Relativa de Grupo (GRPO) basada en aprendizaje por refuerzo y más del 10% sobre el optimizador de indicaciones MIPROv2, mientras que utiliza hasta 35 veces menos despliegues que GRPO. ^{[ 57 ]}
• Los marcos de código abierto como DSPy y Opik exponen estos y otros optimizadores relacionados, lo que permite que la búsqueda rápida se exprese como parte de una canalización programática en lugar de mediante prueba y error manual. ^{[ 58 ] [ 59 ]}

En "prefix-tuning" ^{[ 60 ]} , "prompt tuning" o "soft prompting" ^{[ 61 ]} , los vectores de punto flotante se buscan directamente mediante descenso de gradiente para maximizar la log-verosimilitud en las salidas. Un resultado anterior utiliza la misma idea de búsqueda de descenso de gradiente, pero está diseñado para modelos de lenguaje enmascarados como BERT, y busca solo sobre secuencias de tokens, en lugar de vectores numéricos. Formalmente, busca${\displaystyle \arg \max _{\tilde {X}}\sum _{i}\log Pr[Y^{i}|{\tilde {X}}\ast X^{i}]}$dónde${\displaystyle {\tilde {X}}}$abarca secuencias de tokens de una longitud específica. ^{[ 62 ]}