Marco de marcado léxico

La gestión de recursos lingüísticos – Marco de marcado léxico ( LMF ; ISO 24613 ), elaborado por ISO/TC 37 , es la norma ISO para el procesamiento del lenguaje natural (PLN) y los léxicos de diccionarios legibles por máquina (MRD) . ^{[ 1 ]} Su objetivo es la estandarización de principios y métodos relacionados con los recursos lingüísticos en contextos de comunicación multilingüe.

Los objetivos de LMF son proporcionar un modelo común para la creación y el uso de recursos léxicos , gestionar el intercambio de datos entre estos recursos y permitir la fusión de un gran número de recursos electrónicos individuales para formar amplios recursos electrónicos globales.

Los tipos de instancias individuales de LMF pueden incluir recursos léxicos monolingües, bilingües o multilingües. Se deben usar las mismas especificaciones para léxicos pequeños y grandes, para léxicos simples y complejos, y para representaciones léxicas escritas y orales. Las descripciones abarcan desde la morfología , la sintaxis y la semántica computacional hasta la traducción asistida por computadora . Los idiomas cubiertos no se limitan a lenguas europeas , sino que cubren todas las lenguas naturales . El rango de aplicaciones de PLN a las que se dirige no está restringido. LMF puede representar la mayoría de los léxicos, incluidos WordNet , EDR y PAROLE.

En el pasado, la estandarización de léxicos se estudió y desarrolló mediante una serie de proyectos como GENELEX, EDR, EAGLES, MULTEXT, PAROLE, SIMPLE e ISLE. Posteriormente, las delegaciones nacionales del ISO/TC 37 decidieron abordar estándares dedicados al PLN y la representación de léxicos. El trabajo sobre LMF comenzó en el verano de 2003 con una nueva propuesta de trabajo emitida por la delegación de EE. UU. En otoño de 2003, la delegación francesa emitió una propuesta técnica para un modelo de datos dedicado a los léxicos de PLN. A principios de 2004, el comité ISO/TC 37 decidió formar un proyecto común de ISO con Nicoletta Calzolari ( CNR -ILC Italia) como coordinadora y Gil Francopoulo (Tagmatica Francia) y Monte George ( ANSI , Estados Unidos) como editores. El primer paso en el desarrollo de LMF fue diseñar un marco general basado en las características generales de los léxicos existentes y desarrollar una terminología coherente para describir los componentes de dichos léxicos. El siguiente paso fue el diseño de un modelo integral que representara con detalle todos los léxicos. Un amplio panel de 60 expertos aportó una gran variedad de requisitos para LMF, que abarcaban numerosos tipos de léxicos de PLN. Los editores de LMF colaboraron estrechamente con el panel de expertos para identificar las mejores soluciones y alcanzar un consenso sobre el diseño de LMF. Se prestó especial atención a la morfología para proporcionar mecanismos eficaces que permitieran abordar problemas en varios idiomas conocidos por su dificultad. Se redactaron 13 versiones, que se enviaron (a los expertos nacionales designados), se comentaron y se debatieron durante diversas reuniones técnicas de la ISO. Tras cinco años de trabajo, que incluyeron numerosas reuniones presenciales e intercambios de correo electrónico, los editores lograron un modelo UML coherente. En conclusión, LMF debe considerarse una síntesis del estado del arte en el campo de los léxicos de PLN.

El número ISO es 24613. La especificación LMF se publicó oficialmente como norma internacional el 17 de noviembre de 2008.

Las normas ISO/TC 37 se elaboran actualmente como especificaciones de alto nivel y tratan sobre segmentación de palabras (ISO 24614), anotaciones (ISO 24611, también conocida como MAF, ISO 24612, también conocida como LAF, ISO 24615, también conocida como SynAF, e ISO 24617-1, también conocida como SemAF/Time), estructuras de características (ISO 24610), contenedores multimedia (ISO 24616, también conocida como MLIF) y léxicos (ISO 24613). Estas normas se basan en especificaciones de bajo nivel dedicadas a constantes, a saber, categorías de datos (revisión de ISO 12620), códigos de idioma ( ISO 639 ), códigos de escritura ( ISO 15924 ), códigos de país ( ISO 3166 ) y Unicode ( ISO 10646 ).

La organización de dos niveles forma una familia coherente de estándares con las siguientes reglas comunes y sencillas:

• La especificación de alto nivel proporciona elementos estructurales que están adornados con constantes estandarizadas;
• Las especificaciones de bajo nivel proporcionan constantes estandarizadas como metadatos.

Las constantes lingüísticas como /feminine/ o /transitive/ no están definidas dentro de LMF, sino que están registradas en el Registro de Categorías de Datos (DCR), que es mantenido como un recurso global por ISO/TC 37 en cumplimiento con ISO/IEC 11179-3:2003. ^{[ 2 ]} Y estas constantes se utilizan para adornar los elementos estructurales de alto nivel.

La especificación LMF cumple con los principios de modelado del Lenguaje Unificado de Modelado (UML), tal como los define el Object Management Group (OMG). La estructura se especifica mediante diagramas de clases UML . Los ejemplos se presentan mediante diagramas de instancias (u objetos) UML.

En un anexo del documento LMF se incluye un DTD XML.

LMF se compone de los siguientes componentes:

• El paquete central es el esqueleto estructural que describe la jerarquía básica de la información en una entrada léxica.
• Extensiones del paquete principal que se expresan en un marco que describe la reutilización de los componentes principales junto con los componentes adicionales necesarios para un recurso léxico específico.

Las extensiones están dedicadas específicamente a la morfología , MRD , sintaxis de PLN , semántica de PLN , notaciones multilingües de PLN , patrones morfológicos de PLN , patrones de expresión de varias palabras y patrones de expresión de restricciones .

En el siguiente ejemplo, la entrada léxica se asocia con el lema «clero» y dos formas flexionadas: «clero» y «cleros» . La codificación lingüística se establece para todo el recurso léxico. El valor lingüístico se establece para todo el léxico, como se muestra en el siguiente diagrama de instancia UML .

Los elementos Lexical Resource , Global Information , Lexicon , Lexical Entry , Lemma y Word Form definen la estructura del léxico. Se especifican dentro del documento LMF. Por el contrario, languageCoding , language , partOfSpeech , commonNoun , writtenForm , grammaticalNumber , singular , plural son categorías de datos que se toman del Data Category Registry. Estas marcas adornan la estructura. Los valores ISO 639-3 , clergyman , clergymen son cadenas de caracteres simples. El valor eng se toma de la lista de idiomas según lo definido por ISO 639-3 .

Con información adicional como dtdVersion y feat , los mismos datos se pueden expresar mediante el siguiente fragmento XML :

<LexicalResource dtdVersion= "15" > <GlobalInformation> <feat att= "languageCoding" val= "ISO 639-3" /> </GlobalInformation> <Lexicon> <feat att= "language" val= "eng" /> <LexicalEntry> <feat att= "partOfSpeech" val= "commonNoun" /> <Lema> <feat att= "escritoForm" val= "clergyman" /> </Lemma> <WordForm> <feat att= "escritoForm" val= "clergyman" /> <feat att= "grammaticalNumber" val= "singular" /> </WordForm> <WordForm> <feat att= "escritoForm" val= "clergymen" /> <feat att= "grammaticalNumber" val= "plural" /> </WordForm> </EntradaLéxica> </ Léxico> </RecursoLéxico>

Este ejemplo es bastante sencillo, mientras que LMF puede representar descripciones lingüísticas mucho más complejas, el etiquetado XML es, en consecuencia, complejo.

La primera publicación sobre la especificación LMF tal como fue ratificada por ISO (este artículo se convirtió (en 2015) en el noveno artículo más citado dentro de las conferencias de Language Resources and Evaluation de los artículos de LREC):

• Evaluación y recursos lingüísticos LREC-2006/Génova: Gil Francopoulo, Monte George, Nicoletta Calzolari, Monica Monachini, Nuria Bel, Mandy Pet, Claudia Soria: Lexical Markup Framework (LMF) ^{[ 3 ]}

Acerca de la representación semántica:

• Gesellschaft für linguistische Datenverarbeitung GLDV-2007/Tübingen: Gil Francopoulo, Nuria Bel, Monte George Nicoletta Calzolari, Monica Monachini, Mandy Pet, Claudia Soria: Lexical Markup Framework Estándar ISO para información semántica en léxicos de PNL ^{[ 4 ]}

Acerca de las lenguas africanas:

• Traitement Automatique des langues naturallles, Marsella, 2014: Mouhamadou Khoule, Mouhamad Ndiankho Thiam, El Hadj Mamadou Nguer: Hacia el establecimiento de un léxico en lengua wolof basado en LMF (Vers la mise en place d'un lexique basé sur LMF pour la langue wolof) [en francés] ^{[ 5 ]}

Acerca de las lenguas asiáticas:

• Lexicografía, Revista de ASIALEX, Springer 2014: Marco de marcado léxico: Gil Francopoulo, Chu-Ren Huang: Un estándar ISO para léxicos electrónicos y sus implicaciones para las lenguas asiáticas DOI 10.1007/s40607-014-0006-z

Acerca de las lenguas europeas:

• COLING 2010: Verena Henrich, Erhard Hinrichs: Estandarización de Wordnets en el estándar ISO LMF: Wordnet-LMF para GermaNet ^{[ 6 ]}
• EACL 2012: Judith Eckle-Kohler, Iryna Gurevych: Subcat-LMF: Desarrollo de un formato estandarizado para la interoperabilidad de marcos de subcategorización ^{[ 7 ]}
• EACL 2012: Iryna Gurevych, Judith Eckle-Kohler, Silvana Hartmann, Michael Matuschek, Christian M Meyer, Christian Wirth: UBY - Un recurso léxico-semántico unificado a gran escala basado en LMF. ^{[ 8 ]}

Acerca de las lenguas semíticas:

• Revista de Ingeniería del Lenguaje Natural , Cambridge University Press (se publicará en la primavera de 2015): Aida Khemakhem, Bilel Gargouri, Abdelmajid Ben Hamadou, Gil Francopoulo: Modelado según la norma ISO de un gran diccionario árabe.
• Actas de la séptima Conferencia Global Wordnet 2014: Nadia BM Karmani, Hsan Soussou, Adel M Alimi: Creación de una Wordnet estandarizada en el ISO LMF para el idioma aeb. ^{[ 9 ]}
• Actas del taller: HLT y PNL en el mundo árabe, LREC 2008: Noureddine Loukil, Kais Haddar, Abdelmajid Ben Hamadou: Hacia un léxico sintáctico de verbos árabes. ^{[ 10 ]}
• Traitement Automatique des Langues Naturelles, Toulouse (en francés) 2007: Khemakhem A, Gargouri B, Abdelwahed A, Francopoulo G: Modélisation des paradigmes de flexion des verbes arabes selon la norme LMF-ISO 24613. ^{[ 11 ]}

Acerca de los nombres propios:

• Recursos y evaluación lingüística LREC-2008/Marrakech: Denis Maurel: Prolexbase. Una base de datos léxica relacional multilingüe de nombres propios. ^{[ 12 ]} Este recurso está disponible en el sitio web de ortolang. ^{[ 13 ]}

En 2013 se publicó un libro: LMF Lexical Markup Framework ^{[ 14 ]} , dedicado íntegramente a LMF. El primer capítulo trata sobre la historia de los modelos léxicos, el segundo es una presentación formal del modelo de datos y el tercero aborda la relación con las categorías de datos de la ISO-DCR. Los otros 14 capítulos tratan sobre un léxico o un sistema, ya sea en el ámbito civil o militar, en laboratorios de investigación científica o para aplicaciones industriales. Estos son Wordnet-LMF, Prolmf, DUELME, UBY-LMF , LG-LMF, RELISH, GlobalAtlas (o Global Atlas) y Wordscape.

• Lexicología computacional
• semántica léxica
• Morfología (lingüística) para explicaciones sobre paradigmas y morfosintaxis.
• Traducción automática para una presentación de los diferentes tipos de notaciones multilingües (véase la sección Enfoques ).
• Patrón morfológico para la diferencia entre un paradigma y un patrón paradigmático
• WordNet para una presentación del léxico semántico más famoso del idioma inglés.
• Universal Terminology eXchange (UTX) es un formato alternativo y orientado al usuario para diccionarios legibles por máquina.
• Lenguaje de redes universal
• UBY-LMF para una aplicación de LMF
• OntoLex-Lemon para un modelo basado en LMF para publicar diccionarios como grafos de conocimiento , en RDF y/o como datos abiertos enlazados lingüísticos.