Análisis sintáctico

El ejercicio gramatical tradicional del análisis sintáctico, a veces conocido como análisis de cláusulas , implica descomponer un texto en sus partes de la oración componentes con una explicación de la forma, la función y la relación sintáctica de cada parte. ^{[ 3 ]} Esto se determina en gran parte a partir del estudio de las conjugaciones y declinaciones del idioma , que pueden ser bastante intrincadas para lenguas con mucha flexión . Para analizar una frase como "el hombre muerde al perro" implica observar que el sustantivo singular "hombre" es el sujeto de la oración, el verbo "morder" es la tercera persona del singular del presente del verbo "morder", y el sustantivo singular "perro" es el objeto de la oración. A veces se utilizan técnicas como los diagramas sintácticos para indicar la relación entre los elementos de la oración.

El análisis sintáctico fue en su momento fundamental para la enseñanza de la gramática en todo el mundo angloparlante, y se consideraba básico para el uso y la comprensión del lenguaje escrito.

En algunos sistemas de traducción automática y procesamiento del lenguaje natural , los programas informáticos analizan textos escritos en lenguas humanas. ^{[ 4 ]} Las oraciones humanas no son fáciles de analizar por los programas, ya que existe una ambigüedad sustancial en la estructura del lenguaje humano, cuyo uso es transmitir significado (o semántica ) entre una gama potencialmente ilimitada de posibilidades, pero solo algunas de las cuales son pertinentes al caso particular. ^{[ 5 ]} Así, una expresión "Hombre muerde perro" frente a "Perro muerde hombre" es precisa en un detalle, pero en otro idioma podría aparecer como "Hombre perro muerde", dependiendo del contexto más amplio para distinguir entre esas dos posibilidades, si es que esa diferencia fuera relevante. Es difícil preparar reglas formales para describir el comportamiento informal, aunque es evidente que se siguen algunas reglas.

Para analizar datos en lenguaje natural, los investigadores deben primero ponerse de acuerdo sobre la gramática que se utilizará. La elección de la sintaxis se ve afectada tanto por consideraciones lingüísticas como computacionales; por ejemplo, algunos sistemas de análisis sintáctico utilizan la gramática funcional léxica , pero en general, se sabe que el análisis sintáctico para gramáticas de este tipo es NP-completo . La gramática de estructura de frases dirigida por el núcleo es otro formalismo lingüístico que ha sido popular en la comunidad de análisis sintáctico, pero otros esfuerzos de investigación se han centrado en formalismos menos complejos, como el utilizado en Penn Treebank . El análisis sintáctico superficial tiene como objetivo encontrar solo los límites de los constituyentes principales, como los sintagmas nominales. Otra estrategia popular para evitar controversias lingüísticas es el análisis sintáctico de gramática de dependencia .

La mayoría de los analizadores sintácticos modernos son al menos parcialmente estadísticos; es decir, se basan en un corpus de datos de entrenamiento que ya ha sido anotado (analizado manualmente). Este enfoque permite al sistema recopilar información sobre la frecuencia con la que aparecen diversas construcciones en contextos específicos. (Véase aprendizaje automático ). Los enfoques que se han utilizado incluyen gramáticas libres de contexto probabilísticas ( PCFG ) directas, ^{[ 6 ]} entropía máxima , ^{[ 7 ]} y redes neuronales . ^{[ 8 ]} La mayoría de los sistemas más exitosos utilizan estadísticas léxicas (es decir, consideran las identidades de las palabras involucradas, así como su categoría gramatical ). Sin embargo, estos sistemas son vulnerables al sobreajuste y requieren algún tipo de suavizado para ser efectivos.

Los algoritmos de análisis sintáctico para el lenguaje natural no pueden depender de que la gramática tenga propiedades "agradables", como ocurre con las gramáticas diseñadas manualmente para lenguajes de programación. Como se mencionó anteriormente, algunos formalismos gramaticales son muy difíciles de analizar computacionalmente; en general, incluso si la estructura deseada no es libre de contexto , se utiliza algún tipo de aproximación libre de contexto a la gramática para realizar una primera pasada. Los algoritmos que utilizan gramáticas libres de contexto a menudo se basan en alguna variante del algoritmo CYK , generalmente con alguna heurística para descartar análisis improbables y ahorrar tiempo. (Véase análisis de gráficos ). Sin embargo, algunos sistemas sacrifican velocidad por precisión utilizando, por ejemplo, versiones de tiempo lineal del algoritmo shift-reduce . Un desarrollo relativamente reciente ha sido la reclasificación de análisis sintáctico, en la que el analizador propone un gran número de análisis y un sistema más complejo selecciona la mejor opción. En las aplicaciones de comprensión del lenguaje natural , los analizadores semánticos convierten el texto en una representación de su significado. ^{[ 9 ]}

En psicolingüística , el análisis sintáctico implica no solo la asignación de palabras a categorías (formación de inferencias ontológicas), sino también la evaluación del significado de una oración según las reglas sintácticas derivadas de las inferencias realizadas a partir de cada palabra de la oración (conocida como connotación ). Esto suele ocurrir mientras se escuchan o leen las palabras.

La neurolingüística generalmente entiende el análisis sintáctico como una función de la memoria de trabajo, lo que significa que se utiliza para mantener varias partes de una oración activas en la mente simultáneamente, todas fácilmente accesibles para ser analizadas según sea necesario. Debido a que la memoria de trabajo humana tiene limitaciones, también las tiene la función del análisis sintáctico de oraciones. ^{[ 10 ]} Esto se evidencia en varios tipos diferentes de oraciones sintácticamente complejas que demuestran posibles problemas para el análisis sintáctico mental de oraciones.

El primer tipo de oración, y quizás el más conocido, que dificulta la capacidad de análisis sintáctico es la oración ambigua. Estas oraciones están diseñadas de tal manera que la interpretación más común parece gramaticalmente incorrecta, pero tras un análisis más profundo, resultan ser gramaticalmente correctas. Las oraciones ambiguas son difíciles de analizar sintácticamente porque contienen una frase o una palabra con más de un significado, siendo a menudo su significado más típico una categoría gramatical diferente. ^{[ 11 ]} Por ejemplo, en la oración "el caballo corrió más allá del granero caído", "corrió" se interpreta inicialmente como un verbo en pasado, pero en esta oración funciona como parte de una frase adjetiva. ^{[ 12 ]} Dado que el análisis sintáctico se utiliza para identificar las categorías gramaticales, estas oraciones ponen a prueba la capacidad de análisis sintáctico del lector.

Otro tipo de oración que es difícil de analizar es una ambigüedad de adjunción, que incluye una frase que potencialmente podría modificar diferentes partes de una oración y, por lo tanto, presenta un desafío para identificar la relación sintáctica (por ejemplo, "El niño vio a la señora con el telescopio", en la que la frase ambigua "con el telescopio" podría modificar "el niño vio" o "la señora"). ^{[ 11 ]}

Un tercer tipo de oración que dificulta la capacidad de análisis sintáctico es la incrustación central, en la que las frases se colocan en el centro de otras frases de formación similar (por ejemplo, "La rata, el gato, el hombre golpeado, persiguió, corrió hacia la trampa"). Las oraciones con dos o, en los casos más extremos, tres incrustaciones centrales son difíciles de analizar mentalmente, nuevamente debido a la ambigüedad de la relación sintáctica. ^{[ 13 ]}

Dentro de la neurolingüística existen múltiples teorías que buscan describir cómo se lleva a cabo el análisis sintáctico en el cerebro. Un modelo es el modelo generativo más tradicional del procesamiento de oraciones, que postula que en el cerebro existe un módulo específico para el análisis sintáctico, precedido por el acceso al reconocimiento y recuperación léxica, y seguido por el procesamiento sintáctico que considera un único resultado sintáctico del análisis, revisando dicha interpretación solo si se detecta un problema potencial. ^{[ 14 ]} El modelo opuesto, más contemporáneo, postula que en la mente, el procesamiento de una oración no es modular ni sigue una secuencia estricta. Más bien, plantea que se pueden considerar varias posibilidades sintácticas diferentes simultáneamente, ya que el acceso léxico, el procesamiento sintáctico y la determinación del significado ocurren en paralelo en el cerebro. De esta manera, estos procesos se integran. ^{[ 15 ]}

Aunque aún queda mucho por aprender sobre la neurología del análisis sintáctico, algunos estudios han demostrado que varias áreas del cerebro podrían desempeñar un papel en este proceso. Estas incluyen el polo temporal anterior izquierdo, la circunvolución frontal inferior izquierda, la circunvolución temporal superior izquierda, la circunvolución frontal superior izquierda, la corteza cingulada posterior derecha y la circunvolución angular izquierda. Si bien no se ha demostrado de forma concluyente, se ha sugerido que estas diferentes estructuras podrían favorecer el análisis sintáctico basado en frases o en dependencias, lo que significa que los distintos tipos de análisis podrían procesarse de maneras diferentes que aún no se comprenden. ^{[ 16 ]}

El análisis del discurso examina las formas de analizar el uso del lenguaje y los eventos semióticos. El lenguaje persuasivo puede denominarse retórica .

Un analizador sintáctico es un componente de software que toma datos de entrada (normalmente texto) y construye una estructura de datos , a menudo algún tipo de árbol de análisis , árbol de sintaxis abstracta u otra estructura jerárquica, que proporciona una representación estructural de la entrada mientras verifica la sintaxis correcta. El análisis sintáctico puede ir precedido o seguido de otros pasos, o estos pueden combinarse en un solo paso. El analizador sintáctico suele ir precedido de un analizador léxico independiente , que crea tokens a partir de la secuencia de caracteres de entrada; alternativamente, estos pueden combinarse en el análisis sintáctico sin escáner . Los analizadores sintácticos pueden programarse manualmente o pueden generarse de forma automática o semiautomática mediante un generador de analizadores sintácticos . El análisis sintáctico es complementario a la creación de plantillas , que produce una salida formateada . Estos pueden aplicarse a diferentes dominios, pero a menudo aparecen juntos, como el par scanf / printf , o las etapas de entrada (análisis sintáctico frontal) y salida (generación de código posterior) de un compilador .

La entrada a un analizador sintáctico suele ser texto en algún lenguaje informático , pero también puede ser texto en un lenguaje natural o datos textuales menos estructurados, en cuyo caso generalmente solo se extraen ciertas partes del texto, en lugar de construir un árbol de análisis. Los analizadores sintácticos abarcan desde funciones muy simples como scanf , hasta programas complejos como el frontend de un compilador de C++ o el analizador HTML de un navegador web . Una clase importante de análisis sintáctico simple se realiza mediante expresiones regulares , en las que un grupo de expresiones regulares define un lenguaje regular y un motor de expresiones regulares genera automáticamente un analizador sintáctico para ese lenguaje, lo que permite la coincidencia de patrones y la extracción de texto. En otros contextos, las expresiones regulares se utilizan antes del análisis sintáctico, como paso de análisis léxico, cuya salida es utilizada posteriormente por el analizador sintáctico.

El uso de analizadores sintácticos varía según el tipo de entrada. En el caso de los lenguajes de datos, un analizador sintáctico suele ser la función de lectura de archivos de un programa, como la lectura de texto HTML o XML ; estos ejemplos son lenguajes de marcado . En el caso de los lenguajes de programación , un analizador sintáctico es un componente de un compilador o intérprete , que analiza el código fuente de un lenguaje de programación para crear una representación interna; el analizador sintáctico es un paso clave en la etapa de compilación . Los lenguajes de programación suelen especificarse mediante una gramática determinista libre de contexto, ya que se pueden escribir analizadores sintácticos rápidos y eficientes para ellos. Para los compiladores, el análisis sintáctico puede realizarse en una o varias pasadas; véanse los compiladores de una pasada y de varias pasadas .

Las desventajas inherentes a un compilador de una sola pasada pueden superarse en gran medida mediante la adición de correcciones , donde se prevé la reubicación del código durante la pasada hacia adelante y las correcciones se aplican hacia atrás una vez que se reconoce que el segmento de programa actual se ha completado. Un ejemplo donde este mecanismo de corrección sería útil sería una instrucción GOTO hacia adelante, donde el destino de la instrucción GOTO se desconoce hasta que se completa el segmento de programa. En este caso, la aplicación de la corrección se retrasaría hasta que se reconociera el destino de la instrucción GOTO. Por el contrario, una instrucción GOTO hacia atrás no requiere una corrección, ya que la ubicación ya se conoce.

Las gramáticas libres de contexto tienen limitaciones para expresar todos los requisitos de un lenguaje. En términos sencillos, esto se debe a la memoria limitada de dicho lenguaje. La gramática no puede recordar la presencia de una construcción en una entrada arbitrariamente larga; esto es necesario para un lenguaje en el que, por ejemplo, un nombre debe declararse antes de poder referenciarse. Sin embargo, las gramáticas más potentes que pueden expresar esta restricción no pueden analizarse de forma eficiente. Por lo tanto, es una estrategia común crear un analizador sintáctico flexible para una gramática libre de contexto que acepte un superconjunto de las construcciones del lenguaje deseado (es decir, que acepte algunas construcciones inválidas); posteriormente, las construcciones no deseadas pueden filtrarse en la etapa de análisis semántico (análisis contextual).

Por ejemplo, en Python el siguiente código es sintácticamente válido:

x : int = 1 print ( x )

Sin embargo, el siguiente código es sintácticamente válido en términos de la gramática libre de contexto, ya que produce un árbol sintáctico con la misma estructura que el anterior, pero viola la regla semántica que requiere que las variables se inicialicen antes de su uso:

x : int = 1 imprimir ( y )

El siguiente ejemplo ilustra el caso común de análisis sintáctico de un lenguaje informático con dos niveles de gramática: léxico y sintáctico.

La primera etapa es la generación de tokens, o análisis léxico , mediante la cual la secuencia de caracteres de entrada se divide en símbolos significativos definidos por una gramática de expresiones regulares . Por ejemplo, un programa de calculadora examinaría una entrada como " 12 * (3 + 4)^2" y la dividiría en los tokens 12, *, (, 3, +, 4, ), ^, 2, cada uno de los cuales es un símbolo significativo en el contexto de una expresión aritmética. El analizador léxico contendría reglas para indicarle que los caracteres *, +, ^, (y )marcan el inicio de un nuevo token, por lo que no se generarán tokens sin sentido como " 12*" o " ".(3

La siguiente etapa es el análisis sintáctico, que consiste en comprobar que los tokens forman una expresión válida. Esto se suele hacer con referencia a una gramática libre de contexto que define recursivamente los componentes que pueden formar una expresión y el orden en que deben aparecer. Sin embargo, no todas las reglas que definen los lenguajes de programación pueden expresarse únicamente con gramáticas libres de contexto; por ejemplo, la validez de tipos y la declaración correcta de identificadores. Estas reglas pueden expresarse formalmente con gramáticas de atributos .

La fase final es el análisis semántico , que consiste en determinar las implicaciones de la expresión recién validada y tomar la acción apropiada. ^{[ 17 ]} En el caso de una calculadora o intérprete, la acción es evaluar la expresión o el programa; un compilador, por otro lado, generaría algún tipo de código. También se pueden usar gramáticas de atributos para definir estas acciones.

Una implementación de analizador sintáctico simple lee todo el archivo de entrada, realiza un cálculo o traducción intermedio y luego escribe todo el archivo de salida, como por ejemplo los compiladores multipaso en memoria .

Enfoques alternativos para la implementación del analizador sintáctico:

• Los analizadores push llaman a los manejadores registrados ( callbacks ) tan pronto como el analizador detecta tokens relevantes en el flujo de entrada. Un analizador push puede omitir partes de la entrada que son irrelevantes (un ejemplo es Expat ).
• analizadores de extracción , como los que suelen usar los front-ends de los compiladores al "extraer" el texto de entrada.
• analizadores incrementales (como los analizadores de gráficos incrementales ) que, a medida que el usuario edita el texto del archivo, no necesitan volver a analizar completamente todo el archivo.
• Analizadores activos versus pasivos ^{[ 26 ] [ 27 ]}