invierno de IA

La investigación en procesamiento del lenguaje natural (PLN) tiene sus raíces a principios de la década de 1930 y comenzó con el trabajo en traducción automática (TA). ^{[ 4 ]} Sin embargo, avances y aplicaciones significativas comenzaron a surgir después de la publicación del influyente memorándum de Warren Weaver, " Traducción automática de idiomas: catorce ensayos" en 1949. ^{[ 5 ]} El memorándum generó gran entusiasmo en la comunidad investigadora. En los años siguientes, se produjeron eventos notables: IBM se embarcó en el desarrollo de la primera máquina, el MIT nombró a su primer profesor de tiempo completo en traducción automática y se llevaron a cabo varias conferencias dedicadas a la TA. La culminación llegó con la demostración pública de la máquina Georgetown-IBM, que obtuvo una amplia cobertura en periódicos de prestigio en 1954. ^{[ 6 ]}

Como en todos los auges de la IA seguidos de duros inviernos de la IA, los medios tendieron a exagerar la importancia de estos avances. Los titulares sobre el experimento de Georgetown-IBM proclamaban frases como "La máquina bilingüe", "El cerebro robótico traduce el ruso al inglés británico" ^{[ 7 ]} y "El genio políglota" ^{[ 8 ]} . Sin embargo, la demostración real consistió en la traducción de un conjunto seleccionado de solo 49 oraciones rusas al inglés, con un vocabulario limitado a tan solo 250 palabras ^{[ 6 ]} . Para poner las cosas en perspectiva, un estudio de 2006 realizado por Paul Nation descubrió que los humanos necesitan un vocabulario de entre 8000 y 9000 familias de palabras para comprender textos escritos con un 98 % de precisión ^{[ 9 ] .}

Durante la Guerra Fría , el gobierno estadounidense mostró un interés particular en la traducción automática e instantánea de documentos e informes científicos rusos. El gobierno apoyó activamente los esfuerzos en el campo de la traducción automática a partir de 1954. Otro factor que impulsó este campo fue el interés de la Agencia Central de Inteligencia (CIA). Durante ese período, la CIA creía firmemente en la importancia de desarrollar capacidades de traducción automática y apoyó tales iniciativas. También reconocieron que este programa tenía implicaciones que iban más allá de los intereses de la CIA y la comunidad de inteligencia. ^{[ 6 ]}

Al principio, los investigadores se mostraron optimistas. El nuevo trabajo de Noam Chomsky en gramática estaba agilizando el proceso de traducción y había "muchas predicciones de 'avances' inminentes". ^{[ 10 ]}

Sin embargo, los investigadores habían subestimado la profunda dificultad de la desambiguación del sentido de las palabras . Para traducir una oración, una máquina necesitaba tener alguna idea de qué trataba la oración; de lo contrario, cometía errores. Un ejemplo apócrifo ^{[ 11 ]} es "el espíritu está dispuesto, pero la carne es débil". Traducido de ida y vuelta al ruso, se convirtió en "el vodka es bueno, pero la carne está podrida" ^{[ 12 ].} Investigadores posteriores denominarían a esto el problema del conocimiento del sentido común .

En 1964, el Consejo Nacional de Investigación (NRC ) se mostró preocupado por la falta de progreso y formó el Comité Asesor de Procesamiento Automático del Lenguaje ( ALPAC ) para investigar el problema. En un famoso informe de 1966, concluyeron que la traducción automática era más cara, menos precisa y más lenta que la traducción humana. Tras gastar unos 20 millones de dólares, el NRC suspendió todo el apoyo. Se arruinaron carreras y se detuvo la investigación. ^{[ 2 ] [ 10 ]}

La traducción automática compartió la misma trayectoria que el procesamiento del lenguaje natural (PLN), desde los enfoques basados ​​en reglas, pasando por los enfoques estadísticos, hasta llegar a los enfoques de redes neuronales, que en 2023 culminaron en grandes modelos de lenguaje .

Las redes o circuitos simples de unidades conectadas, incluyendo la red neuronal para lógica de Walter Pitts y Warren McCulloch y el sistema SNARC de Marvin Minsky , no lograron ofrecer los resultados prometidos y fueron abandonados a finales de la década de 1950. Tras el éxito de programas como Logic Theorist y General Problem Solver , ^{[ 13 ]} los algoritmos para manipular símbolos parecían más prometedores en aquel momento. El razonamiento lógico se consideraba la esencia de la inteligencia, ya fuera natural o artificial.

El interés en los perceptrones , inventados por Frank Rosenblatt, se mantuvo vivo únicamente gracias a la fuerza arrolladora de su personalidad. ^{[ 14 ]} Predijo con optimismo que el perceptrón "podría eventualmente aprender, tomar decisiones y traducir idiomas". ^{[ 15 ]} La investigación convencional sobre perceptrones terminó en parte porque el libro Perceptrons de 1969 , de Marvin Minsky y Seymour Papert, enfatizó los límites de lo que los perceptrones podían hacer. ^{[ 16 ]} Si bien ya se sabía que los perceptrones multicapa no eran objeto de críticas, nadie en la década de 1960 sabía cómo entrenar un perceptrón multicapa. La retropropagación aún estaba a años de distancia. ^{[ 17 ]}

En los años setenta y principios de los ochenta, era difícil encontrar financiación importante para proyectos que utilizaran redes neuronales. ^{[ 18 ]} A pesar de la falta de financiación, se continuó realizando un trabajo teórico importante. El «invierno» del enfoque de redes neuronales terminó a mediados de los ochenta, cuando el trabajo de John Hopfield , David Rumelhart y otros reavivó un gran interés. ^{[ 19 ]} Sin embargo, Rosenblatt no llegó a verlo, ya que falleció en un accidente náutico poco después de la publicación de Perceptrones . ^{[ 15 ]}

En 1973, el Parlamento británico solicitó al profesor Sir James Lighthill que evaluara el estado de la investigación en IA en el Reino Unido. Su informe, ahora conocido como el Informe Lighthill, criticó el rotundo fracaso de la IA para alcanzar sus "grandiosos objetivos". Concluyó que nada de lo que se hacía en IA no se podía hacer en otras ciencias. Mencionó específicamente el problema de la " explosión combinatoria " o " intratabilidad ", lo que implicaba que muchos de los algoritmos más exitosos de la IA se estancarían ante problemas del mundo real y solo serían adecuados para resolver versiones "de juguete". ^{[ 20 ]}

El informe fue cuestionado en un debate emitido en la serie "Controversy" de la BBC en 1973. El debate, titulado "El robot de propósito general es un espejismo" y organizado por la Royal Institution, enfrentó a Lighthill contra el equipo formado por Donald Michie , John McCarthy y Richard Gregory . ^{[ 21 ]} McCarthy escribió posteriormente que "el problema de la explosión combinatoria se ha reconocido en la IA desde el principio". ^{[ 22 ]}

El informe condujo al desmantelamiento total de la investigación en IA en el Reino Unido. ^{[ 20 ]} La investigación en IA continuó solo en unas pocas universidades (Edimburgo, Essex y Sussex). La investigación no se reactivaría a gran escala hasta 1983, cuando Alvey (un proyecto de investigación del Gobierno británico) comenzó a financiar la IA nuevamente con un fondo de 350 millones de libras esterlinas en respuesta al Proyecto de Quinta Generación japonés (véase más abajo). Alvey tenía una serie de requisitos exclusivos para el Reino Unido que no fueron bien recibidos internacionalmente, especialmente por los socios estadounidenses, y perdió la financiación de la Fase 2.

Durante la década de 1960, la Agencia de Proyectos de Investigación Avanzada de Defensa (entonces conocida como "ARPA", ahora conocida como "DARPA") proporcionó millones de dólares para la investigación en IA con pocas condiciones. JCR Licklider , el director fundador de la división de computación de DARPA, creía en "financiar personas, no proyectos" ^{[ 23 ]} y él y varios sucesores permitieron que los líderes de la IA (como Marvin Minsky , John McCarthy, Herbert A. Simon o Allen Newell ) gastaran el dinero prácticamente como quisieran.

Esta actitud cambió tras la aprobación de la Enmienda Mansfield en 1969, que exigía a DARPA financiar «investigación directa orientada a la misión, en lugar de investigación básica no dirigida». ^{[ 24 ]} La investigación puramente no dirigida, del tipo que se había llevado a cabo en la década de 1960, ya no sería financiada por DARPA. Los investigadores ahora debían demostrar que su trabajo pronto produciría alguna tecnología militar útil. Las propuestas de investigación en IA se sometían a un estándar muy alto. La situación no mejoró cuando el informe Lighthill y el propio estudio de DARPA (el Grupo de Estudio Americano ) sugirieron que era improbable que la mayor parte de la investigación en IA produjera algo realmente útil en un futuro previsible. El dinero de DARPA se dirigía a proyectos específicos con objetivos identificables, como tanques autónomos y sistemas de gestión de batalla. Para 1974, era difícil encontrar financiación para proyectos de IA. ^{[ 24 ]}

El investigador de IA Hans Moravec atribuyó la crisis a las predicciones poco realistas de sus colegas: «Muchos investigadores se vieron atrapados en una red de exageraciones crecientes. Sus promesas iniciales a DARPA habían sido demasiado optimistas. Por supuesto, lo que entregaron se quedó muy por debajo de eso. Pero sintieron que no podían prometer menos en su siguiente propuesta que en la primera, así que prometieron más». ^{[ 25 ]} El resultado, afirma Moravec, es que parte del personal de DARPA perdió la paciencia con la investigación en IA. «En DARPA se dijo literalmente que "a algunas de estas personas se les iba a dar una lección [ reduciendo ] sus contratos de dos millones de dólares al año a casi nada"», dijo Moravec a Daniel Crevier . ^{[ 26 ]}

Si bien el proyecto del tanque autónomo fue un fracaso, el sistema de gestión de batalla (la Herramienta de Análisis y Replanificación Dinámica ) demostró ser enormemente exitoso, ahorrando miles de millones en la primera Guerra del Golfo , amortizando toda la inversión de DARPA en IA ^{[ 27 ]} y justificando la política pragmática de DARPA. ^{[ 28 ]}

Como se describe en: ^{[ 29 ]}

En 1971, la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) inició un ambicioso experimento de cinco años sobre comprensión del habla. El objetivo del proyecto era lograr el reconocimiento de enunciados a partir de un vocabulario limitado en tiempo casi real. Tres organizaciones finalmente demostraron sistemas al concluir el proyecto en 1976: la Universidad Carnegie Mellon (CMU), que demostró dos sistemas (HEARSAY-II y HARPY); Bolt, Beranek y Newman (BBN); y System Development Corporation con el Instituto de Investigación de Stanford (SDC/SRI).

El sistema que más se acercó a cumplir los objetivos originales del proyecto fue el sistema HARPY de la CMU. Su rendimiento relativamente alto se logró en gran medida mediante la integración de información sobre posibles enunciados en su base de conocimiento. Si bien HARPY realizó algunas contribuciones interesantes, su dependencia de un amplio conocimiento previo limitó la aplicabilidad de este enfoque a otras tareas de comprensión de señales.

DARPA quedó profundamente decepcionada con los investigadores que trabajaban en el programa de Investigación de Comprensión del Habla (SUR, por sus siglas en inglés) de la Universidad Carnegie Mellon. DARPA esperaba, y sentía que se le había prometido, un sistema capaz de responder a comandos de voz de un piloto. El equipo de SUR había desarrollado un sistema que podía reconocer el inglés hablado, pero solo si las palabras se pronunciaban en un orden específico . DARPA se sintió engañada y, en 1974, canceló un contrato de tres millones de dólares anuales. ^{[ 30 ]}

Muchos años después, varios sistemas comerciales de reconocimiento de voz exitosos utilizarían la tecnología desarrollada por el equipo de Carnegie Mellon (como los modelos ocultos de Markov ) y el mercado de sistemas de reconocimiento de voz alcanzaría los 4 mil millones de dólares en 2001. ^{[ 31 ]}

Reddy ofrece una revisión del progreso en la comprensión del habla al final del proyecto DARPA en un artículo de 1976 en Proceedings of the IEEE . ^{[ 32 ]}

Los recortes de financiación solo afectaron a los principales laboratorios y a los proyectos de investigación más grandes, y para 1975 estos eran una fracción muy pequeña de las personas que ahora trabajaban en el campo. En los años 70, el número de investigadores de IA crecía rápidamente y el campo se extendía por todo el mundo. El historiador Thomas Haigh sostiene que "no hubo un invierno de la IA" porque el número de investigadores y el ritmo de descubrimiento no se ralentizaron, sino que se aceleraron. ^{[ 33 ]} Utilizando el número de miembros del SIGART de la ACM , el Grupo de Interés Especial en Inteligencia Artificial , como indicador del interés en el tema, el autor escribe: ^{[ 33 ]}

(...) Localicé dos fuentes de datos, ninguna de las cuales apoya la idea de un invierno de IA generalizado durante la década de 1970. Una es la membresía de SIGART de ACM, el principal foro para compartir noticias y resúmenes de investigación durante la década de 1970. Cuando se publicó el informe Lighthill en 1973, el grupo de rápido crecimiento tenía 1241 miembros, aproximadamente el doble que en 1969. Los siguientes cinco años se consideran convencionalmente como la parte más oscura del primer invierno de IA. ¿Se estaba reduciendo la comunidad de IA? ¡No! A mediados de 1978, la membresía de SIGART casi se había triplicado, llegando a 3500. El grupo no solo crecía más rápido que nunca, sino que aumentaba proporcionalmente más rápido que ACM en su conjunto, que había comenzado a estancarse (expandiéndose en menos del 50% durante todo el período de 1969 a 1978). Uno de cada 11 miembros de ACM estaba en SIGART.

En la década de 1980, una forma de programa de IA denominada " sistema experto " fue adoptada por corporaciones de todo el mundo. El primer sistema experto comercial fue XCON , desarrollado en Carnegie Mellon para Digital Equipment Corporation , y fue un éxito rotundo: se estimó que le ahorró a la compañía 40 millones de dólares en tan solo seis años de funcionamiento. Corporaciones de todo el mundo comenzaron a desarrollar e implementar sistemas expertos y, para 1985, ya gastaban más de mil millones de dólares en IA, la mayor parte en departamentos internos de IA. Surgió una industria para darles soporte, que incluía empresas de software como Teknowledge e Intellicorp (KEE) , y empresas de hardware como Symbolics y LISP Machines Inc., que construían computadoras especializadas, llamadas máquinas LISP , optimizadas para procesar el lenguaje de programación LISP , el lenguaje preferido para la investigación en IA en los EE. UU. ^{[ 34 ] [ 35 ]}

En 1987, tres años después de la predicción de Minsky y Schank , el mercado de hardware especializado en IA basado en LISP colapsó. Las estaciones de trabajo de empresas como Sun Microsystems ofrecieron una alternativa potente a las máquinas LISP, y empresas como Lucid ofrecieron un entorno LISP para esta nueva clase de estaciones de trabajo. El rendimiento de estas estaciones de trabajo generales se convirtió en un desafío cada vez mayor para las máquinas LISP. Empresas como Lucid y Franz LISP ofrecieron versiones cada vez más potentes de LISP que eran portátiles a todos los sistemas UNIX. Por ejemplo, se publicaron pruebas de rendimiento que mostraban que las estaciones de trabajo mantenían una ventaja de rendimiento sobre las máquinas LISP. ^{[ 36 ]} Posteriormente, los ordenadores de sobremesa fabricados por Apple e IBM también ofrecerían una arquitectura más sencilla y popular para ejecutar aplicaciones LISP. Para 1987, algunos de ellos se habían vuelto tan potentes como las máquinas LISP más caras. Los ordenadores de sobremesa disponían de motores basados ​​en reglas como CLIPS . ^{[ 37 ]} Estas alternativas dejaron a los consumidores sin motivo para comprar una máquina cara especializada para ejecutar LISP. Toda una industria valorada en quinientos millones de dólares fue reemplazada en un solo año. ^{[ 38 ]}

A principios de la década de 1990, la mayoría de las empresas comerciales de LISP habían quebrado, incluidas Symbolics, LISP Machines Inc., Lucid Inc., etc. Otras empresas, como Texas Instruments y Xerox , abandonaron el sector. Un pequeño número de empresas clientes (es decir, empresas que utilizaban sistemas escritos en LISP y desarrollados en plataformas de máquinas LISP) continuaron manteniendo los sistemas. En algunos casos, este mantenimiento implicaba asumir el trabajo de soporte resultante. ^{[ 39 ]}

A principios de la década de 1990, los primeros sistemas expertos exitosos, como XCON, resultaron demasiado costosos de mantener. Eran difíciles de actualizar, no podían aprender, eran "frágiles" (es decir, podían cometer errores grotescos cuando se les proporcionaban entradas inusuales) y eran vulnerables a problemas (como el problema de calificación ) que se habían identificado años antes en la investigación en lógica no monótona . Los sistemas expertos demostraron ser útiles, pero solo en algunos contextos especiales. ^{[ 40 ] [ 41 ]} Otro problema se relacionaba con la dificultad computacional de los esfuerzos de mantenimiento de la verdad para el conocimiento general. KEE utilizó un enfoque basado en supuestos que admitía escenarios de mundos múltiples que era difícil de entender y aplicar.

Las pocas empresas fantasma de sistemas expertos que quedaban se vieron obligadas a reducir su tamaño y buscar nuevos mercados y paradigmas de software, como el razonamiento basado en casos o el acceso universal a bases de datos . La maduración de Common Lisp salvó a muchos sistemas como ICAD , que encontró aplicación en la ingeniería basada en el conocimiento . Otros sistemas, como KEE de Intellicorp, pasaron de LISP a una variante de C++ en la PC y ayudaron a establecer la tecnología orientada a objetos (incluido el importante apoyo para el desarrollo de UML (ver UML Partners ).

En 1981, el Ministerio de Comercio Internacional e Industria de Japón destinó 850 millones de dólares al proyecto de la Quinta Generación de computadoras . Sus objetivos eran escribir programas y construir máquinas que pudieran mantener conversaciones, traducir idiomas, interpretar imágenes y razonar como los seres humanos. Para 1991, la impresionante lista de objetivos establecidos en 1981 no se había cumplido. Según HP Newquist en The Brain Makers , «El 1 de junio de 1992, el Proyecto Quinta Generación terminó no con un rugido de éxito, sino con un gemido». ^{[ 39 ]} Al igual que con otros proyectos de IA, las expectativas habían sido mucho mayores que lo que realmente era posible. ^{[ 42 ] [ 43 ]}

En 1983, en respuesta al proyecto de quinta generación, DARPA volvió a financiar la investigación en IA a través de la Iniciativa de Computación Estratégica (SCI). Tal como se propuso originalmente, el proyecto comenzaría con objetivos prácticos y alcanzables, que incluso incluían la inteligencia artificial general como objetivo a largo plazo. El programa estaba bajo la dirección de la Oficina de Tecnología de Procesamiento de la Información (IPTO) y también se centraba en la supercomputación y la microelectrónica . Para 1985, había gastado 100 millones de dólares y 92 proyectos estaban en marcha en 60 instituciones, la mitad en la industria y la otra mitad en universidades y laboratorios gubernamentales. La investigación en IA recibió una buena financiación de la SCI. ^{[ 44 ]}

Jack Schwarz, quien ascendió al liderazgo de IPTO en 1987, desestimó los sistemas expertos como "programación inteligente" y recortó la financiación para la IA "profundamente y brutalmente", "destripando" la SCI. Schwarz creía que DARPA debía centrar su financiación únicamente en aquellas tecnologías que mostraban mayor potencial; en sus palabras, DARPA debía "surfear" en lugar de "nadar a braza", y estaba convencido de que la IA no era "la próxima ola". Fuentes internas del programa mencionaron problemas de comunicación, organización e integración. Algunos proyectos sobrevivieron a los recortes de financiación, entre ellos el asistente de piloto y un vehículo terrestre autónomo (que nunca se entregaron), así como el sistema de gestión de batalla DART, que (como se mencionó anteriormente) tuvo éxito. ^{[ 45 ]}