Hispanopedia Wiki
Articulo de referencia

Modelo de razonamiento

Un modelo de razonamiento , también conocido como modelo de lenguaje de razonamiento ( RLM ) o modelo de razonamiento grande ( LRM ), es un tipo de modelo de lenguaje grande (LL...

Hispanopedia WikiContenido en espanolLectura gratuita

Un modelo de razonamiento , también conocido como modelo de lenguaje de razonamiento ( RLM ) o modelo de razonamiento grande ( LRM ), es un tipo de modelo de lenguaje grande (LLM) que ha sido entrenado específicamente para resolver tareas complejas que requieren múltiples pasos de razonamiento lógico . [ 1 ] Estos modelos demuestran un rendimiento superior en tareas de lógica, matemáticas y programación en comparación con los LLM estándar. Poseen la capacidad de revisar y modificar pasos de razonamiento anteriores y utilizar computación adicional durante la inferencia como método para escalar el rendimiento , complementando los enfoques de escalado tradicionales basados ​​en el tamaño de los datos de entrenamiento, los parámetros del modelo y la computación de entrenamiento. [ 2 ]

Descripción general

A diferencia de los modelos de lenguaje tradicionales que generan respuestas de inmediato, los modelos de razonamiento asignan tiempo adicional de procesamiento, o de pensamiento, antes de producir una respuesta para resolver problemas de varios pasos. OpenAI introdujo esta terminología en septiembre de 2024 cuando lanzó la serie o1 , describiendo los modelos como diseñados para "dedicar más tiempo a pensar" antes de responder. La compañía presentó o1 como un reinicio en la nomenclatura de modelos que apunta a tareas complejas en ciencia, programación y matemáticas, y contrastó el rendimiento de o1 con GPT-4o en pruebas comparativas como AIME y Codeforces . Informes independientes de la misma semana resumieron el lanzamiento y destacaron la afirmación de OpenAI de que o1 automatiza el razonamiento de estilo cadena de pensamiento para lograr grandes avances en exámenes difíciles. [ 3 ] [ 4 ] [ 5 ]

En funcionamiento, los modelos de razonamiento generan cadenas internas de pasos intermedios, para luego seleccionar y refinar una respuesta final. OpenAI informó que la precisión de o1 mejora a medida que el modelo recibe más aprendizaje por refuerzo durante el entrenamiento y más computación en tiempo de prueba durante la inferencia. Inicialmente, la empresa optó por ocultar las cadenas sin procesar y, en su lugar, devolver un resumen escrito por el modelo, afirmando que "decidió no mostrar" los pensamientos subyacentes para que los investigadores pudieran monitorearlos sin exponer contenido no alineado a los usuarios finales. Las implementaciones comerciales documentan "tokens de razonamiento" separados que miden el pensamiento oculto y un control para el "esfuerzo de razonamiento" que ajusta la cantidad de computación que utiliza el modelo. Estas características hacen que los modelos sean más lentos que los sistemas de chat comunes, pero permiten un mejor rendimiento en problemas difíciles. [ 4 ] [ 6 ]

Historia

La trayectoria de investigación hacia los modelos de razonamiento combinó avances en supervisión , indicaciones y inferencia de estilo de búsqueda .

Los primeros trabajos de alineación sobre aprendizaje por refuerzo a partir de retroalimentación humana mostraron que los modelos pueden ajustarse para seguir instrucciones con "retroalimentación humana" y recompensas basadas en preferencias. [ 7 ] [ 8 ] En 2022, los científicos de Google Research, Jason Wei y Denny Zhou, demostraron que la inducción de cadena de pensamiento "mejora significativamente la capacidad" de los modelos grandes en tareas de razonamiento complejas. [ 9 ]

Aporte→Paso1→Paso2→⋯→Pasonorte⏟Cadena de razonamiento→Respuesta{\displaystyle {\text{Entrada}}\rightarrow \underbrace {{\text{Paso}}_{1}\rightarrow {\text{Paso}}_{2}\rightarrow \cdots \rightarrow {\text{Paso}}_{n}} _{\text{Cadena de razonamiento}}\rightarrow {\text{Respuesta}}}

Un resultado complementario demostró que la instrucción simple "Pensemos paso a paso" puede generar razonamiento de cero disparos. [ 10 ] El trabajo posterior introdujo la decodificación de autoconsistencia, que "mejora el rendimiento" de la cadena de pensamiento al muestrear diversas rutas de solución y elegir el consenso, y métodos aumentados con herramientas como ReAct , una combinación de Reason y Act, que impulsan a los modelos a "generar tanto rastros de razonamiento" como acciones. [ 11 ] [ 12 ] La investigación luego generalizó la cadena de pensamiento en la búsqueda sobre múltiples planes candidatos. El marco Tree-of-Thoughts del científico informático de Princeton Shunyu Yao propone que los modelos "realizan una toma de decisiones deliberada" al explorar y retroceder sobre un árbol de pensamientos intermedios. [ 13 ]

El avance reportado por OpenAI se centró en supervisar los procesos de razonamiento en lugar de solo los resultados, con el informe "Let's Verify Step by Step" de Lightman et al. que indica que recompensar cada paso correcto "supera significativamente la supervisión de resultados" en problemas matemáticos complejos y mejora la interpretabilidad al alinear la cadena de pensamiento con el juicio humano. [ 14 ] [ 15 ] El anuncio de OpenAI sobre o1 une estos hilos con un algoritmo de aprendizaje por refuerzo a gran escala que entrena al modelo para refinar su propia cadena de pensamiento, e informa que la precisión aumenta con más cómputo de entrenamiento y más tiempo dedicado a pensar en la inferencia. [ 4 ]

En conjunto, estos avances definen el núcleo de los modelos de razonamiento. Utilizan señales de supervisión que evalúan la calidad de los pasos intermedios, aprovechan la exploración en tiempo de inferencia, como el consenso o la búsqueda en árbol , y exponen controles para la cantidad de capacidad de procesamiento de pensamiento interno que se debe asignar. La familia o1 de OpenAI puso este enfoque a disposición a gran escala en septiembre de 2024 y popularizó la etiqueta de "modelo de razonamiento" para los modelos de lógica descriptiva que piensan deliberadamente antes de responder. [ 3 ] [ 6 ]

El desarrollo de modelos de razonamiento ilustra la "amarga lección" de Richard S. Sutton : que la escalabilidad computacional suele superar a los métodos basados ​​en ideas diseñadas por humanos. [ 16 ] Este principio fue demostrado por investigadores del Laboratorio de Investigación de IA Generativa (GAIR), quienes inicialmente intentaron replicar las capacidades de o1 utilizando métodos sofisticados, como la búsqueda en árbol y el aprendizaje por refuerzo, a finales de 2024. Sus hallazgos, publicados en la serie "o1 Replication Journey", revelaron que la destilación del conocimiento , una técnica relativamente sencilla que entrena un modelo más pequeño para imitar las salidas de o1, produjo un rendimiento inesperadamente alto. Este resultado ilustró cómo los enfoques de escalabilidad directa pueden, en ocasiones, superar a soluciones de ingeniería más complejas. [ 17 ] [ 18 ]

Desventajas

Los modelos de razonamiento requieren muchos más recursos computacionales durante la inferencia en comparación con los modelos que no realizan razonamiento. Una investigación sobre el examen de referencia American Invitational Mathematics Examination (AIME) reveló que los modelos de razonamiento eran entre 10 y 74 veces más costosos de operar que sus contrapartes que no realizan razonamiento. [ 19 ] El tiempo de inferencia prolongado se atribuye a los resultados de razonamiento detallados y paso a paso que generan estos modelos, los cuales suelen ser mucho más largos que las respuestas de los modelos de lenguaje estándar de gran tamaño que proporcionan respuestas directas sin mostrar su proceso de razonamiento.

Un investigador argumentó a principios de 2025 que estos modelos podrían enfrentar posibles problemas adicionales de denegación de servicio con "ataques de sobreanálisis". [ 20 ]

Comunicados

2024

En septiembre de 2024, OpenAI lanzó o1-preview , un modelo de lenguaje grande con capacidades de razonamiento mejoradas. [ 21 ] La versión completa, o1 , se lanzó en diciembre de 2024. OpenAI compartió inicialmente resultados preliminares sobre su modelo sucesor, o3 , en diciembre de 2024, [ 22 ] [ 23 ] [ 24 ] y el modelo o3 completo estará disponible en 2025. [ 25 ]

Alibaba lanzó versiones de razonamiento de sus grandes modelos de lenguaje Qwen en noviembre de 2024. [ 26 ] En diciembre de 2024, la compañía presentó QvQ-72B-Preview, un modelo experimental de razonamiento visual. [ 27 ]

En diciembre de 2024, Google presentó Deep Research en Gemini , una función diseñada para realizar tareas de investigación de varios pasos. [ 28 ] [ 29 ]

El 16 de diciembre de 2024, investigadores demostraron que, al aumentar la capacidad de cálculo en tiempo de prueba, un modelo Llama 3B relativamente pequeño podía superar a un modelo Llama 70B mucho más grande en tareas de razonamiento complejas. Este experimento sugirió que las estrategias de inferencia mejoradas pueden potenciar las capacidades de razonamiento incluso en modelos más pequeños. [ 30 ] [ 31 ]

2025

En enero de 2025, DeepSeek lanzó R1 , un modelo de razonamiento que logró un rendimiento comparable al de o1 de OpenAI con un coste computacional significativamente menor. El lanzamiento demostró la eficacia de la Optimización de Política Relativa de Grupo (GRPO), una técnica de aprendizaje por refuerzo utilizada para entrenar el modelo. [ 32 ] [ 33 ]

El 25 de enero de 2025, DeepSeek mejoró R1 con capacidades de búsqueda web, lo que permite al modelo recuperar información de Internet mientras realiza tareas de razonamiento. [ 34 ]

Las investigaciones realizadas durante este período validaron aún más la eficacia de la destilación del conocimiento para la creación de modelos de razonamiento. El modelo s1-32B logró un rendimiento sólido mediante métodos de escalado y ajuste presupuestario, lo que refuerza los hallazgos de que los enfoques de entrenamiento más sencillos pueden ser altamente efectivos para las capacidades de razonamiento. [ 35 ] [ 18 ]

El 2 de febrero de 2025, OpenAI lanzó Deep Research , una función basada en su modelo o3 que permite a los usuarios realizar tareas de investigación exhaustivas. [ 36 ] El sistema genera informes detallados mediante la recopilación y síntesis automática de información de múltiples fuentes web. [ 36 ]

OpenAI denominó a GPT-4.5 su "último modelo sin cadena de pensamiento" [ 37 ] e implementó con GPT-5 un modelo de enrutador que selecciona un modelo en función de la dificultad de la tarea. [ 38 ]

2026

En enero de 2026, Moonshot AI lanzó Kimi K2.5, un modelo MoE de código abierto con 1 billón de parámetros y 32 mil millones de parámetros activos, al que siguió el lanzamiento de Kimi K2.6 en abril de 2026. Ambos modelos Kimi utilizan un sistema de " enjambre de agentes " que descompone dinámicamente las tareas en subagentes para el razonamiento y la ejecución, lo que permite una resolución de problemas de múltiples pasos más escalable que una única cadena de razonamiento secuencial [ 39 ] . Sin embargo, ambos modelos Kimi, a pesar de ser idénticos en parámetros, tienen diferencias en el enjambre de agentes: K2.5 utiliza un formato de 100 subagentes, mientras que K2.6 utiliza 300 subagentes, lo que mejora la capacidad de coordinación de tareas de este último [ 40 ] .

Capacitación

Los modelos de razonamiento siguen el preentrenamiento a gran escala habitual utilizado para los modelos de lenguaje de vanguardia, para luego divergir en el postentrenamiento y la optimización. OpenAI informa que o1 se entrena con un algoritmo de aprendizaje por refuerzo a gran escala que enseña al modelo a utilizar y refinar una cadena de pensamiento antes de responder. La empresa destaca dos factores interrelacionados: mayor aprendizaje por refuerzo durante el entrenamiento y mayor tiempo dedicado al pensamiento en la inferencia, y documenta mejoras graduales a medida que cada uno aumenta. OpenAI también afirma que decidió no mostrar las cadenas de pensamiento sin procesar a los usuarios finales y, en su lugar, devuelve un resumen escrito por el modelo, una decisión de producto vinculada a la monitorización de la seguridad y a las preocupaciones competitivas. [ 4 ]

Un ingrediente fundamental es la supervisión de procesos , que recompensa los pasos intermedios en lugar de solo la respuesta final. El estudio de OpenAI introdujo un modelo de recompensa de procesos entrenado con etiquetas a nivel de paso y descubrió que la supervisión de procesos supera significativamente a la supervisión basada únicamente en el resultado en problemas matemáticos complejos. El proyecto también publicó el conjunto de datos de retroalimentación a nivel de paso PRM800K y argumentó que las recompensas a nivel de proceso mejoran la interpretabilidad porque los humanos pueden verificar cada paso. Estos resultados proporcionaron una receta práctica para supervisar cadenas de pensamiento que posteriormente se escaló al entrenamiento en producción. [ 15 ]

Este entrenamiento difiere de manera importante de los modelos de frontera tradicionales que no se centran en el razonamiento. Los sistemas estándar se preentrenan en corpus a escala de internet con un objetivo de predicción del siguiente token, luego se alinean mediante el ajuste de instrucciones y la optimización de preferencias. La receta canónica de InstructGPT primero utiliza el ajuste fino supervisado en demostraciones humanas, luego entrena un modelo de recompensa a partir de preferencias por pares y, finalmente, optimiza la política con aprendizaje por refuerzo, típicamente PPO con una penalización KL . [ 8 ] [ 41 ] Variantes como la optimización directa de preferencias eliminan el paso explícito de RL y optimizan el modelo directamente en datos de preferencias, pero el objetivo de la supervisión sigue siendo el resultado final juzgado por los evaluadores en lugar de la calidad de los pasos internos. [ 42 ] Los informes técnicos para GPT-4 resumen esta canalización convencional como un preentrenamiento del siguiente token seguido de un postentrenamiento al estilo RLHF para moldear el comportamiento. [ 43 ]

En contraste, los modelos de razonamiento están optimizados para producir, criticar y revisar cadenas de varios pasos durante el entrenamiento. OpenAI afirma que el aprendizaje por refuerzo se aplica a la propia cadena, lo que enseña al modelo a reconocer errores, dividir los problemas en pasos más simples y cambiar de estrategia cuando el enfoque actual falla. OpenAI también documenta que oculta las cadenas durante la inferencia y devuelve una respuesta que resume las ideas útiles del rastro interno. Estas decisiones de diseño reflejan el objetivo de entrenamiento del modelo y su monitorización prevista. [ 4 ]

Zelikman et al. introdujeron STaR (Self-Taught Reasoner), que exploraba razonamientos de arranque mediante la generación y filtrado iterativos de cadenas, para luego ajustar con precisión esas trazas, y reportaron mejoras con respecto al ajuste fino basado únicamente en el resultado. Una variante de este método proporcionó mecanismos adicionales para producir señales de entrenamiento que reflejan el razonamiento intermedio, no solo las respuestas finales. [ 44 ]

DeepSeek informó que los sistemas R1 y R1-Zero entrenados con RL puro generaron cadenas largas, autoverificación y reflexión, argumentando que las recompensas explícitas a nivel de cadena pueden inducir comportamientos de razonamiento general. Estos resultados indican que el post-entrenamiento centrado en la calidad de la cadena se ha convertido en un régimen distinto, separado de la alineación basada únicamente en el resultado. [ 45 ]

Ajuste fino supervisado

Un modelo de lenguaje grande (LLM) puede ajustarse con precisión en conjuntos de datos de tareas de razonamiento junto con trazas de soluciones paso a paso. El modelo ajustado aprende a producir sus propias cadenas de razonamiento para nuevos problemas. [ 46 ] [ 47 ]

Dado que recopilar trazas escritas por humanos es costoso, los investigadores utilizan el ajuste fino por muestreo de rechazo (RFT) para construir conjuntos de datos automáticamente. Este método genera múltiples trazas de razonamiento para cada enunciado y luego filtra las trazas con respuestas finales incorrectas mediante un verificador. [ 48 ]

Aprendizaje por refuerzo

Un modelo de lenguaje preentrenado puede entrenarse aún más con aprendizaje por refuerzo (RL). En RL, un modelo de lenguaje generativo actúa como una política, denotadaπ{\displaystyle \pi }Dentro de este formalismo, una indicación de tarea se denomina estado ambiental.incógnita{\displaystyle x}y la respuesta del modelo es una accióny{\displaystyle y}. La probabilidad de que el modelo responday{\displaystyle y}dadoincógnita{\displaystyle x}se escribe comoπ(y|incógnita){\displaystyle \pi (y|x)}.

Para seguir desarrollando un modelo de lenguaje de razonamiento utilizando RL, el siguiente paso es construir un modelo de recompensa.r(incógnita,y){\displaystyle r(x,y)}para guiar el proceso. Intuitivamente, la recompensa indica la calidad de la respuesta a una pregunta. En una tarea de razonamiento, la recompensa es alta si la respuesta resuelve la tarea y baja en caso contrario.

Partiendo de esto, una respuestay{\displaystyle y}puede dividirse en múltiples pasos, denotadosy1,y2,…,ynorte{\displaystyle y_{1},y_{2},\dots,y_{n}}, donde cadaynorte{\displaystyle y_{n}}representa un paso distinto en el proceso de respuesta.

Por esta razón, los sistemas más recientes utilizan métodos de gradiente de política como la Optimización de Política Proximal (PPO), ya que PPO restringe cada actualización de política con un objetivo recortado, estabilizando el entrenamiento para políticas muy grandes. [ 49 ]

Modelo de recompensa por resultados

Un modelo de recompensa por resultados, o RM supervisado por resultados (ORM), [ 46 ] proporciona la recompensa por un pasor(incógnita,y1,…,yi){\displaystyle r(x,y_{1},\dots ,y_{i})}Basándonos en la respuesta final:r(incógnita,y1,…,yi)=r(incógnita,ynorte){\displaystyle r(x,y_{1},\dots ,y_{i})=r(x,y_{n})}Estos modelos suelen denominarse "verificadores".

Para tareas con respuestas fáciles de verificar, como problemas matemáticos , la recompensa puede ser binaria: 1 si la respuesta final es correcta, 0 en caso contrario. [ 46 ] Si la verificación automática es difícil, los humanos pueden etiquetar las respuestas como correctas o incorrectas, y esas etiquetas se pueden usar para ajustar un modelo base que predice la etiqueta humana. [ 47 ] Para tareas como la escritura creativa, donde la calidad no es simplemente verdadera o falsa, se puede entrenar un modelo de recompensa con datos de preferencias humanas clasificadas , como en el aprendizaje por refuerzo a partir de la retroalimentación humana . [ 19 ] Un modelo base también se puede ajustar para predecir, a partir de un rastro de pensamiento parcialincógnita,y1,…,ymetro{\displaystyle x,y_{1},\dots ,y_{m}}, si la respuesta final será correcta, y esta predicción puede servir como una recompensa binaria. [ 46 ]

El ORM se suele entrenar con regresión logística , es decir, minimizando la pérdida de entropía cruzada . [ 50 ]

Dado un PRM, se puede construir un ORM multiplicando la recompensa total del proceso durante el rastro de razonamiento, [ 19 ] tomando el mínimo, [ 50 ] o mediante otras formas de agregar recompensas de procesos. DeepSeek utilizó un ORM simple para entrenar el modelo R1 . [ 33 ]

Modelo de recompensa por proceso

Un modelo de recompensa de proceso, o RM supervisado por proceso (PRM), [ 46 ] proporciona la recompensa por un pasor(incógnita,y1,…,yi){\displaystyle r(x,y_{1},\dots ,y_{i})}basándonos únicamente en los pasos dados hasta ahora:(incógnita,y1,…,yi){\displaystyle (x,y_{1},\dots ,y_{i})}.

Dado un rastro de pensamiento parcialincógnita,y1,…,ymetro{\displaystyle x,y_{1},\dots ,y_{m}}Un humano puede juzgar si los pasos dados hasta el momento son correctos, sin necesidad de ver la respuesta final. Esto produce una recompensa binaria. Dado que las etiquetas humanas son costosas, se puede ajustar un modelo base para predecirlas. [ 46 ] El PRM generalmente se entrena con regresión logística sobre las etiquetas humanas, es decir, minimizando la pérdida de entropía cruzada entre las etiquetas verdaderas y las predichas. [ 50 ]

Como ejemplo, un artículo de OpenAI de 2023 recopiló 800 000 etiquetas de proceso para 75 000 trazas de pensamiento. Un etiquetador observó una traza y marcó cada paso como "positivo" si se acercaba a una solución, "neutral" si no era incorrecto pero no ayudaba, y "negativo" si era un error. Después de la primera etiqueta "negativa", el etiquetador se detenía en esa traza y pasaba a otra. Los autores argumentaron que etiquetar hasta el primer error era suficiente para entrenar un PRM capaz, aunque etiquetar pasos posteriores podría proporcionar señales más ricas. [ 19 ] [ 51 ]

Para evitar las etiquetas humanas, los investigadores han propuesto métodos para crear PRM sin etiquetas humanas en los procesos. Inspirado en la búsqueda en árbol de Monte Carlo (MCTS), el método Math-Shepherd muestrea múltiples continuaciones hasta el final, comenzando en cada paso de razonamiento.yi{\displaystyle y_{i}}y establecer la recompensa en ese paso como#(respuestas correctas)#(respuestas totales){\displaystyle {\frac {\#{\text{(respuestas correctas)}}}{\#{\text{(respuestas totales)}}}}}en el caso de "estimación blanda", o {1Si una de las respuestas es correcta0demás{\displaystyle {\begin{cases}1&{\text{si una de las respuestas es correcta}}\\0&{\text{en caso contrario}}\end{cases}}} en el caso de "estimación difícil". Esto crea recompensas de proceso a partir de un ORM, que suele ser más fácil o más barato de construir. Luego se puede entrenar un PRM con estas etiquetas. [ 50 ] Algunos trabajos han intentado un enfoque MCTS completo. [ 52 ]

También se puede utilizar un ORM para construir implícitamente un PRM, de forma similar a la optimización de preferencias directas . [ 53 ]

Muestreo guiado

Se puede utilizar un ORM entrenado para seleccionar la mejor respuesta. La política genera varias respuestas y el ORM selecciona la mejor. Esto implementa una forma simple de escalado de cómputo en tiempo de prueba ("mejor de N"). [ 47 ] [ 54 ]

Un PRM entrenado puede guiar el razonamiento mediante una búsqueda voraz en árbol : la política propone varios pasos siguientes, el PRM elige uno y el proceso se repite. Esto es similar a usar un ORM para elegir una respuesta completa. [ 55 ] La búsqueda en haz funciona mejor que la búsqueda voraz.

La búsqueda anticipada es otro método de búsqueda en árbol. La política propone varios pasos siguientes y luego realiza un breve despliegue para cada uno. Si se encuentra una solución durante el despliegue, la búsqueda se detiene prematuramente. De lo contrario, el PRM evalúa cada despliegue y se elige el paso con la puntuación más alta. [ 31 ]

La autoconsistencia se puede combinar con un ORM. El modelo genera múltiples respuestas, y estas se agrupan de manera que cada grupo tenga la misma respuesta final. El ORM puntúa cada respuesta, se suman las puntuaciones de cada grupo y se devuelve la respuesta del grupo con la puntuación más alta. [ 50 ]

Puntos de referencia

Los modelos de razonamiento generalmente obtienen puntuaciones más altas que los modelos sin razonamiento en muchos puntos de referencia, particularmente en tareas que requieren razonamiento de varios pasos. [ 56 ] [ 57 ] [ 58 ] [ 59 ]

Por ejemplo, en el American Invitational Mathematics Examination (AIME), una exigente competición de matemáticas, los modelos sin razonamiento resolvieron normalmente menos del 30 % de los problemas. En cambio, muchos de los primeros modelos de razonamiento lograron tasas de éxito entre el 50 % y el 80 %. [ 2 ] [ 33 ] [ 35 ] o3-mini-high, lanzado en enero de 2025, logró una precisión superior al 80 %. [ 60 ]

Algunos benchmarks excluyen los modelos de razonamiento debido a sus tiempos de respuesta más largos y mayores costos de inferencia, incluidos los benchmarks para la detección de eventos complejos en línea en sistemas ciberfísicos , la evaluación general del tiempo de cómputo de inferencia, las tareas de ingeniería de Verilog y las evaluaciones de seguridad de red. [ 61 ] [ 62 ] [ 63 ] [ 64 ]

Modelos

Véase también

Referencias

  1. ↑ Besta, Maciej; Barth, Julia; Schreiber, Eric; Kubicek, Ales; Catarino, Afonso; Gerstenberger, Robert; Nyczyk, Piotr; Iff, Patrick; Li, Yueling (2025-01-23). ​​"Modelos de lenguaje de razonamiento: un plan maestro". arXiv : 2501.11223 [ cs.CL ].
  2. 1 2 "Aprender a razonar con LLM" . OpenAI . 12 de septiembre de 2024. Consultado el 26 de julio de 2025 .
  3. 1 2 Presentación de OpenAI o1-preview , OpenAI, 12 de septiembre de 2024
  4. 1 2 3 4 5 Aprender a razonar con LLM , OpenAI, 12 de septiembre de 2024
  5. ↑ OpenAI lanza una nueva serie de modelos de IA con capacidades de razonamiento , Reuters, 12 de septiembre de 2024
  6. 1 2 Modelos de razonamiento de Azure OpenAI , Microsoft Learn, 11 de octubre de 2025
  7. ↑ Christiano, Paul; Leike, Jan; Brown, Tom B.; Martic, Miljan; Legg, Shane; Amodei, Dario (2017). "Aprendizaje profundo por refuerzo a partir de preferencias humanas". arXiv : 1706.03741 [ stat.ML ].
  8. 1 2 Ouyang, Long; Wu, Jeff; Jiang, Xu; Dinan, Emily; Bansal, Prafulla; Wainwright, Sam; Xu, Chong; Schulman, John (2022). "Entrenamiento de modelos de lenguaje para seguir instrucciones con retroalimentación humana". arXiv : 2203.02155 [ cs.CL ].
  9. ↑ Wei, Jason; Wang, Xuezhi; Schuurmans, Dale; Saxton, David; Prenger, Ryan; Ren, Shuohui; Liu, Yang; Zhou, Denny (2022). "La inducción de cadena de pensamiento genera razonamiento en modelos de lenguaje grandes". arXiv : 2201.11903 [ cs.CL ].
  10. ↑ Kojima, Takeshi; Gu, Shixiang; Reid, Machel; Matsuo, Yutaka; Iwasawa, Yusuke (2022). "Los modelos de lenguaje grandes son razonadores de tiro cero". arXiv : 2205.11916 [ cs.CL ].
  11. ↑ Wang, Xuezhi; Wei, Jason; Schuurmans, Dale; Le, Quoc; Chi, Ed; Zhou, Denny (2022). "La autoconsistencia mejora el razonamiento de cadena de pensamiento en los modelos de lenguaje". arXiv : 2203.11171 [ cs.CL ].
  12. ↑ Yao, Shunyu; Zhao, Jeffrey; Yu, Dian; Du, Nan; Safran, Izhak; Narasimhan, Karthik; Cao, Yuan (2022). "ReAct: sinergizar el razonamiento y la actuación en modelos de lenguaje". arXiv : 2210.03629 [ cs.CL ].
  13. ↑ Yao, Shunyu; Yu, Dian; Zhao, Jeffrey; Shafran, Izhak; Griffiths, Thomas L.; Cao, Yuan; Narasimhan, Karthik (2023). "Árbol de pensamientos: resolución deliberada de problemas con modelos de lenguaje grandes". arXiv : 2305.10601 [ cs.CL ].
  14. ↑ Lightman, Hunter; Kosaraju, Vineet; Burda, Yura; Edwards, Harri; Baker, Bowen; Lee, Teddy; Leike, Jan; Schulman, John; Sutskever, Ilya (2023). "Let's Verify Step by Step". arXiv : 2305.20050 [ cs.LG ].
  15. 1 2 Mejora del razonamiento matemático con supervisión de procesos , OpenAI, 31/05/2023
  16. ↑ Sutton, Richard S. "La amarga lección" . Ideas incompletas . Consultado el 27 de febrero de 2025 .
  17. ^ Huang, Zhen; Zou, Haoyang; Li, Xuefeng; Liu, Yixiu; Zheng, Yuxiang; Chern, Ethan; Xia, Shijie; Qin, Yiwei; Yuan, Weizhe (25 de noviembre de 2024). "Viaje de replicación de O1 - Parte 2: ¿Superar la vista previa de O1 mediante una destilación simple, un gran progreso o una lección amarga?". arXiv : 2411.16489 [ cs.CL ].
  18. 1 2 Zeff, Maxwell (2025-02-05). "Investigadores crearon un rival abierto al modelo de 'razonamiento' o1 de OpenAI por menos de 50 dólares" . TechCrunch . Recuperado el 26 de julio de 2025 .
  19. 1 2 3 4 Lightman, Hunter; Kosaraju, Vineet; Burda, Yura; Edwards, Harri; Baker, Bowen; Lee, Teddy; Leike, Jan; Schulman, John; Sutskever, Ilya (2024). "Verifiquemos paso a paso" . Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR 2024) . arXiv : 2305.20050 . Recuperado el 26 de julio de 2025 .
  20. ↑ Abhinav Kumar (2025). "OverThink: Ataques de ralentización en los LLM de razonamiento". arXiv : 2502.02542 [ cs.LG ].
  21. ↑ Edwards, Benj (12 de septiembre de 2024). "Los nuevos modelos de IA de "razonamiento" de OpenAI ya están aquí: o1-preview y o1-mini" . Ars Technica . Consultado el 6 de febrero de 2025 .
  22. ↑ "Tarjeta del sistema OpenAI o1" (PDF) . OpenAI . 5 de diciembre de 2024. Consultado el 26 de julio de 2025 .
  23. ↑ Robison, Kylie (5 de diciembre de 2024). "OpenAI lanza ChatGPT Pro, un plan de 200 dólares al mes con acceso ilimitado a o1, GPT-4o y más" . The Verge . Consultado el 26 de julio de 2025 .
  24. ↑ Singh, Jaspreet (2024-12-20). "OpenAI presenta el modelo 'o3', destacando avances en razonamiento" . Reuters . Consultado el 26 de julio de 2025 .
  25. ↑ "Presentación de OpenAI o3 y o4-mini" . OpenAI . 16 de abril de 2025. Consultado el 26 de julio de 2025 .
  26. ↑ Equipo, Qwen (28-11-2024). "QwQ-32B-Preview: Reflexiona profundamente sobre los límites de lo desconocido" . Qwen (Alibaba Cloud) . Recuperado el 26-07-2025 .
  27. ↑ Equipo, Qwen (25-12-2024). "QVQ: Ver el mundo con sabiduría" . Qwen . Alibaba Cloud . Recuperado el 26-07-2025 .
  28. ↑ "Prueba Deep Research y nuestro nuevo modelo experimental en Gemini, tu asistente de IA" . Google . 11 de diciembre de 2024. Consultado el 5 de febrero de 2025 .
  29. ↑ Roth, Emma (11 de diciembre de 2024). "Google creó una herramienta de IA que puede investigar por ti" . The Verge . Consultado el 26 de julio de 2025 .
  30. ↑ "Escalado del cálculo en tiempo de prueba" . Hugging Face . 16 de diciembre de 2024. Consultado el 26 de julio de 2025 .
  31. 1 2 Snell, Charlie; Lee, Jaehoon; Xu, Kelvin; Kumar, Aviral (2025). "Escalar LLM Test-Time Compute Optimally puede ser más efectivo que escalar los parámetros del modelo" . Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR 2025) . arXiv : 2408.03314 . Recuperado el 26 de julio de 2025 .
  32. ↑ Orland, Kyle (28 de enero de 2025). "¿Cómo se compara realmente DeepSeek R1 con los mejores modelos de razonamiento de OpenAI?" . Ars Technica . Consultado el 6 de febrero de 2025 .
  33. ^ DeepSeek - AI ; Guo, Daya; Yang, Dejian; Zhang, Haowei; Canción, Junxiao; Zhang, Ruoyu; Xu, Runxin; Zhu, Qihao; Mamá, Shirong (22 de enero de 2025). "DeepSeek-R1: incentivar la capacidad de razonamiento en LLM mediante el aprendizaje por refuerzo". arXiv : 2501.12948 [ cs.CL ].
  34. ↑DeepSeek 支持"深度思考+联网检索"能力[ DeepSeek añade una función de búsqueda que permite el pensamiento profundo y la búsqueda web simultáneos ] . Diario del Pueblo en línea (en chino). 29 de enero de 2025. Consultado el 26 de julio de 2025 .
  35. ^ Muennighoff , Niklas; Yang, Zitong; Shi, Weijia; Li, Xiang Lisa; Fei-Fei, Li; Hajishirzi, Hannaneh ; Zettlemoyer, Lucas; Liang, Percy ; Candès, Emmanuel (3 de febrero de 2025). "s1: Escalado simple en tiempo de prueba". arXiv : 2501.19393 [ cs.CL ].
  36. 1 2 "Introducción a la investigación profunda" . OpenAI . 2025-02-02 . Recuperado el 2025-02-05 .
  37. ↑ Fried, Ina (28 de febrero de 2025). "El lanzamiento de GPT-4.5 de OpenAI subraya el próximo desafío de la IA" . Axios . Consultado el 20 de enero de 2026 .
  38. ↑ Goldman, Sharon. "El enrutador modelo de GPT-5 provocó una reacción negativa de los usuarios contra OpenAI, pero podría ser el futuro de la IA" . Fortune . Consultado el 20 de enero de 2026 .
  39. ↑ "Blog técnico de Kimi K2.5: Inteligencia visual agencial" . www.kimi.com . Consultado el 25 de febrero de 2026 .
  40. ↑ "Kimi K2.6: Modelo de agente de peso abierto" . Verdent AI . 21 de abril de 2026. Consultado el 27 de junio de 2026 .
  41. ↑ Ziegler, Daniel M.; Stiennon, Nisan; Wu, Jeffrey; Brown, Tom B.; Radford, Alec; Amodei, Dario; Christiano, Paul; Irving, Geoffrey (2019). "Ajuste fino de modelos de lenguaje a partir de preferencias humanas". arXiv : 1909.08593 [ cs.CL ].
  42. ↑ Rafailov, Rafael; Sharma, Kushal; Mitchell, Eric; Manning, Christopher D.; Ermon, Stefano; Finn, Chelsea (2023). "Optimización de preferencias directas: su modelo de lenguaje es secretamente un modelo de recompensa". arXiv : 2305.18290 [ cs.LG ].
  43. ↑ Achiam, Josh; Adler, Steven; Agarwal, Sandhini (2023). "Informe técnico de GPT-4". arXiv : 2303.08774 [ cs.CL ].
  44. ↑ Zelikman, Eric; Wu, Yuhuai; Mu, Jesse; Goodman, Noah D. (2022). "STaR: Bootstrapping Reasoning With Reasoning". arXiv : 2203.14465 [ cs.LG ].
  45. ↑ Guo, Dan (2025). "DeepSeek-R1: Incentivando la capacidad de razonamiento en LLM mediante aprendizaje por refuerzo". arXiv : 2501.12948 [ cs.CL ].
  46. 1 2 3 4 5 6 Uesato, Jonathan; Kushman, Nate; Kumar, Ramana; Song, Francis; Siegel, Noah; Wang, Lisa; Creswell, Antonia; Irving, Geoffrey; Higgins, Irina (2022-11-25). "Resolución de problemas matemáticos verbales con retroalimentación basada en el proceso y el resultado". arXiv : 2211.14275 [ cs.LG ].
  47. 1 2 3 Cobbe, Karl; Kosaraju, Vineet; Bavarian, Mohammad; Chen, Mark; Jun, Heewoo; Kaiser, Lukasz; Plappert, Matthias; Tworek, Jerry; Hilton, Jacob (2021-11-18). "Entrenamiento de verificadores para resolver problemas matemáticos verbales". arXiv : 2110.14168 [ cs.LG ].
  48. ^ Yuan, Zheng; Yuan, Hongyi; Li, Chengpeng; Dong, Guanting; Lu, Keming; Tan, Chuanqi; Zhou, Chang; Zhou, Jingren (13 de septiembre de 2023). "Ampliación de la relación en el aprendizaje del razonamiento matemático con modelos de lenguaje grandes". arXiv : 2308.01825 [ cs.CL ].
  49. ↑ "Alineación de modelos de lenguaje para seguir instrucciones" . Blog de OpenAI . 27 de enero de 2022. Consultado el 4 de mayo de 2025 .
  50. 1 2 3 4 5 Wang, Peiyi; Li, Lei; Shao, Zhihong; Xu, Runxin; Dai, Damai; Li, Yifei; Chen, Deli; Wu, Yu; Sui, Zhifang (agosto de 2024). Ku, Lun-Wei; Martins, Andre; Srikumar, Vivek (eds.). "Math-Shepherd: Verificar y reforzar LLM paso a paso sin anotaciones humanas". Actas de la 62.ª Reunión Anual de la Asociación de Lingüística Computacional (Volumen 1: Artículos largos) . Bangkok, Tailandia: Asociación de Lingüística Computacional: 9426–9439 . arXiv : 2312.08935 . doi : 10.18653/v1/2024.acl-long.510 .
  51. ↑ "prm800k" . GitHub . OpenAI. 27-01-2025 . Consultado el 27-01-2025 .
  52. ↑ Chen, Guoxin; Liao, Minpeng; Li, Chengxi; Fan, Kai (27-09-2024). "AlphaMath Almost Zero: Supervisión de procesos sin proceso". arXiv : 2405.03553 [ cs.LG ].
  53. ^ Yuan, Lifan; Li, Wendi; Chen, Huayu; Cui, Ganqu; Ding, Ning; Zhang, Kaiyan; Zhou, Bowen; Liu, Zhiyuan ; Peng, Hao (2 de diciembre de 2024). "Recompensas de proceso gratuitas sin etiquetas de proceso". arXiv : 2412.01981 [ cs.CL ].
  54. ^ Zhang, Di; Wu, Jianbo; Lei, Jingdi; Che, Tong; Li, Jiatong; Xie, Tong; Huang, Xiaoshui; Zhang, Shufei; Pavón, Marco (21/11/2024). "LLaMA-Berry: optimización por pares para razonamiento matemático a nivel de Olimpiada similar a O1". arXiv : 2410.02884 [ cs.CL ].
  55. ^ Mamá, Qianli; Zhou, haotiano; Liu, Tingkai; Yuan, Jianbo; Liu, Pengfei; Tú, Yang; Yang, Hongxia (16 de octubre de 2023). "Recompensemos paso a paso: modelo de recompensa a nivel escalonado como navegadores del razonamiento". arXiv : 2310.10080 [ cs.CL ].
  56. ↑ Cui, Dong-Xu; Long, Shi-Yu; Tang, Yi-Xuan; Zhao, Yue; Li, Qiao (2025-08-25). "¿Puede el poder de razonamiento mejorar significativamente el conocimiento de los grandes modelos de lenguaje para la química?—Basado en conversaciones con LLM" . Journal of Chemical Information and Modeling . 65 (18) acs.jcim.5c01265. doi : 10.1021/acs.jcim.5c01265 . ISSN 1549-9596 . PMID 40854079 .  
  57. ^ Qwen; Yang, An; Yang, Baosong; Zhang, Beichen; Hui, Binyuan; Zheng, Bo; Yu, Bowen; Li, Chengyuan; Liu, Dayiheng (2024). "Informe técnico de Qwen2.5". arXiv : 2412.15115 [ cs.CL ].
  58. ↑ Comanici, Gheorghe; Bieber, Eric; Schaekermann, Mike; Pasupat, Ice; Sachdeva, Noveen; Dhillon, Inderjit; Blistein, Marcel; Ram, Ori; Zhang, Dan (22 de julio de 2025). "Gemini 2.5: Impulsando la frontera con razonamiento avanzado, multimodalidad, contexto extenso y capacidades de agentes de próxima generación". arXiv : 2507.06261 [ cs.CL ].
  59. ^ Mirza, Adrián; Alampara, Nawaf; Kunchapu, Sreekanth; Ríos-García, Martiño; Emoekabu, Benedicto; Krishnan, Asuán; Gupta, Tanya; Schilling-Wilhelmi, Mara; Okereke, Macjonathan; Aneesh, Anagha; Asgari, Mehrdad; Eberhardt, Juliane; Elahi, Amir Mohammad; Elbeheiry, Hani M.; Gil, María Victoria (julio 2025). "Un marco para evaluar el conocimiento químico y las capacidades de razonamiento de grandes modelos de lenguaje frente a la experiencia de los químicos" . Química de la Naturaleza . 17 (7): 1027– 1034. Bibcode : 2025NatCh..17.1027M . doi : 10.1038/s41557-025-01815-x . ISSN 1755-4349 . PMC 12226332 . PMID 40394186 .   
  60. ↑ «OpenAI o3-mini» . AbiertoAI . 2025-01-31 . Consultado el 9 de febrero de 2025 .
  61. ↑ Huang, Yuting; Zois, Christos; Wang, Yue; Zhang, Yue; Mavromatis, Christos; Zeng, Jiachen; Yin, Shihao; Voulkidis, Antonios; Shepard, Daniel (2025). "Hacia modelos fundamentales para la detección de eventos complejos en línea en CPS-IoT: un estudio de caso". Actas del 2.º Taller Internacional sobre Modelos Fundamentales para Sistemas Ciberfísicos e Internet de las Cosas . ACM. págs. 1–6 . arXiv : 2503.12282 . doi : 10.1145/3722565.3727198 . ISBN  979-8-4007-1608-9Aunque no evaluamos los modelos o1 y o3... su alto costo y tiempo de inferencia los hacen poco prácticos para CED en línea, que requiere solicitudes API frecuentes y de baja latencia.
  62. ^ Hu, Zihao; Wang, Yuqing; Sol, Rui; Lu, Haoran; Gong, Qian; Wang, Jinshuai; Gong, Yunlong; Huang, Yiming; Él, Peng (13 de febrero de 2025). "Cálculo del tiempo de inferencia: ¿más fiel? Una nota de investigación". arXiv : 2502.09673 [ cs.CL ]. no pudimos evaluar O1 y R1...
  63. ^ Chen, Guoliang; Zhu, Zhiyao; Meng, Qinxiang; Liang, Weilin; Ji, Zijie; Liu, Jiangning; Zeng, Jie (7 de marzo de 2025). "RealBench: evaluación de LLM como ingenieros de Verilog". arXiv : 2503.04914 [ cs.AI ]. Para la vista previa de O1, tomamos muestras solo una vez debido al alto costo.
  64. ↑ Gupta, Arpit; Schapira, Michael; Gill, Phillipa; Seetharaman, Srinivasan (30 de enero de 2025). "Sobre la viabilidad del uso de LLM para ejecutar ataques de red multietapa". arXiv : 2501.16466 [ cs.CR ]. No pudimos evaluar o1... la API pública tiene una salvaguarda que impide que o1 ejecute ataques.
  65. ↑ Heath, Alex (5 de agosto de 2025). "OpenAI lanza un modelo GPT gratuito que puede ejecutarse en tu portátil" . The Verge . Consultado el 7 de marzo de 2026 .
  • Fortes, Armando (27-01-2025). "atfortes/Awesome-LLM-Reasoning" . GitHub . Recuperado el 27-01-2025 .
  • Huang, Jie; Chang, Kevin Chen-Chuan (2023-05-26). "Hacia el razonamiento en modelos de lenguaje grandes: una revisión". arXiv : 2212.10403 [ cs.CL ].
  • Besta, Maciej; Barth, Julia; Schreiber, Eric; Kubicek, Ales; Catarino, Afonso; Gerstenberger, Robert; Nyczyk, Piotr; Iff, Patrick; Li, Yueling (23 de enero de 2025). "Modelos de lenguaje de razonamiento: un plan maestro". arXiv : 2501.11223 [ cs.AI ].
Obtenido de " https://en.wikipedia.org/w/index.php?title=Reasoning_model&oldid=1361423059 "
Lecturas relacionadas
6 articulos
Modelo de lenguaje grandeModelo de lenguaje grandeUn modelo de lenguaje grande ( LLM ) es un modelo computacional capaz de generar lenguaje u otras tareas de procesamiento del lenguaje natural . Co...ReasonReasonReason is the capacity of consciously applying logic by drawing valid conclusions from new or existing information , with the aim of seeking the tr...BacktrackingBacktracking is a class of algorithms for finding solutions to some computational problems , notably constraint satisfaction problems , that increm...Ley de escalamiento neuronalRendimiento de los modelos de IA en varios puntos de referencia desde 1998 hasta 2024. En el aprendizaje automático , una ley de escalamiento neuro...IA abiertaIA abiertaOpenAI es una organización estadounidense de investigación en inteligencia artificial (IA) fundada en diciembre de 2015 y con sede en San Francisco...OpenAI o1OpenAI o1OpenAI o1 es un transformador generativo preentrenado lanzado por OpenAI en septiembre de 2024. o1 pasa tiempo "pensando" antes de responder, lo qu...