Lista de palabras

Nation ( Nation 1997 ) destacó la increíble ayuda que brindan las capacidades informáticas, que facilitan enormemente el análisis de corpus. Citó varias cuestiones clave que influyen en la construcción de listas de frecuencia:

• representatividad del corpus
• frecuencia de palabras y rango
• tratamiento de familias de palabras
• Tratamiento de modismos y expresiones fijas
• rango de información
• otros criterios

En cualquier caso, es necesario definir la unidad básica de "palabra". En los alfabetos latinos, las palabras suelen constar de uno o varios caracteres separados por espacios o signos de puntuación. Sin embargo, pueden existir excepciones  : el inglés "can't" y el francés " aujourd'hui " incluyen signos de puntuación, mientras que el francés "chateau d'eau" representa un concepto distinto a la simple suma de sus componentes, incluyendo un espacio. También puede ser preferible agrupar las palabras de una misma familia léxica bajo la representación de su palabra base . Así, " possible", "imposible" y "posibilidad" pertenecen a la misma familia léxica, representada por la palabra base *possib* . Con fines estadísticos, todas estas palabras se agrupan bajo la forma de la palabra base *possib*, lo que permite clasificar la frecuencia de aparición de un concepto y su forma. Además, otros idiomas pueden presentar dificultades específicas. Tal es el caso del chino, que no utiliza espacios entre palabras y donde una cadena específica de varios caracteres puede interpretarse como una frase de palabras de un solo carácter o como una palabra de varios caracteres.

Parece que la ley de Zipf se cumple para las listas de frecuencias extraídas de textos más largos de cualquier lengua natural. Las listas de frecuencias son una herramienta útil para la creación de diccionarios electrónicos, requisito indispensable para una amplia gama de aplicaciones en lingüística computacional .

Los lingüistas alemanes definen la Häufigkeitsklasse (clase de frecuencia)${\displaystyle N}$La frecuencia de un elemento de la lista se calcula mediante el logaritmo en base 2 de la razón entre su frecuencia y la frecuencia del elemento más frecuente. El elemento más común pertenece a la clase de frecuencia 0 (cero) y cualquier elemento que sea aproximadamente la mitad de frecuente pertenece a la clase 1. En la lista de ejemplo anterior, la palabra mal escrita « outragious» tiene una razón de 76/3789654 y pertenece a la clase 16.

${\displaystyle N=\left\lfloor 0.5-\log _{2}\left({\frac {\text{Frecuencia de este elemento}}{\text{Frecuencia del elemento más común}}}\right)\right\rfloor }$

dónde${\displaystyle \lfloor \ldots \rfloor }$es la función de piso .

Las listas de frecuencia, junto con las redes semánticas , se utilizan para identificar los términos especializados menos comunes que se reemplazarán por sus hiperónimos en un proceso de compresión semántica .

Estas listas no están destinadas a ser entregadas directamente a los estudiantes, sino que sirven como guía para profesores y autores de libros de texto ( Nation 1997 ). El resumen de Paul Nation sobre la enseñanza de lenguas modernas anima primero a "pasar del vocabulario de alta frecuencia y el vocabulario temático [para fines específicos] al vocabulario de baja frecuencia, y luego a enseñar a los alumnos estrategias para mantener la expansión autónoma del vocabulario" ( Nation 2006 ).

El recuento de palabras es un campo antiguo, ^{[ 7 ]} con discusiones conocidas que se remontan a la época helenística . En 1944, Edward Thorndike , Irvin Lorge y colegas ^{[ 8 ]} contaron a mano 18 000 000 de palabras para proporcionar la primera lista de frecuencia de la lengua inglesa a gran escala, antes de que las computadoras modernas hicieran tales proyectos mucho más fáciles ( Nation 1997 ). Los trabajos del siglo XX adolecen de su antigüedad. En particular, las palabras relacionadas con la tecnología, como "blog", que, en 2014, era la #7665 en frecuencia ^{[ 9 ]} en el Corpus of Contemporary American English, ^{[ 10 ]} fue atestiguada por primera vez en 1999, ^{[ 11 ] [ 12 ] [ 13 ]} y no aparece en ninguna de estas tres listas.

El libro de vocabulario para maestros de 30.000 palabras (Thorndike y Lorge, 1944)

El libro de vocabulario para docentes contiene 30 000 lemas o aproximadamente 13 000 familias de palabras (Goulden, Nation y Read, 1990). Se analizó manualmente un corpus de 18 millones de palabras escritas. El tamaño de su corpus original aumentó su utilidad, pero su antigüedad y los cambios lingüísticos han reducido su aplicabilidad ( Nation, 1997 ).

La lista de servicios generales (West, 1953)

La Lista de Servicio General contiene 2000 palabras clave divididas en dos conjuntos de 1000 palabras. En la década de 1940 se analizó un corpus de 5 millones de palabras escritas. Se proporciona la tasa de ocurrencia (%) para diferentes significados y categorías gramaticales de cada palabra clave. Se aplicaron cuidadosamente al corpus diversos criterios, además de la frecuencia y el rango. Por lo tanto, a pesar de su antigüedad, algunos errores y el hecho de que su corpus sea exclusivamente texto escrito, sigue siendo una excelente base de datos de frecuencia de palabras, frecuencia de significados y reducción de ruido ( Nation 1997 ). Esta lista fue actualizada en 2013 por el Dr. Charles Browne, el Dr. Brent Culligan y Joseph Phillips como la Nueva Lista de Servicio General .

El libro de frecuencia de palabras de la herencia estadounidense (Carroll, Davies y Richman, 1971)

Un corpus de 5 millones de palabras en textos escritos utilizados en escuelas de Estados Unidos (diversos grados, diversas áreas temáticas). Su valor reside en su enfoque en materiales didácticos escolares y en el etiquetado de palabras según su frecuencia, en cada grado escolar y en cada área temática ( Nation 1997 ).

El corpus LOB de Brown (Francis y Kucera, 1982) y corpus relacionados

Estas fuentes contienen ahora un millón de palabras de un corpus escrito que representa diferentes dialectos del inglés. Estas fuentes se utilizan para producir listas de frecuencia ( Nation 1997 ).

Se han realizado varios estudios sobre la frecuencia de las palabras en español ( Cuetos et al. 2011 ). ^{[ 22 ]}

Los corpus chinos se han estudiado durante mucho tiempo desde la perspectiva de las listas de frecuencia. La forma histórica de aprender vocabulario chino se basa en la frecuencia de los caracteres ( Allanic 2003 ). El sinólogo estadounidense John DeFrancis mencionó su importancia para el aprendizaje y la enseñanza del chino como lengua extranjera en Why Johnny Can't Read Chinese ( DeFrancis 1966 ). Como conjunto de herramientas de frecuencia, Da ( Da 1998 ) y el Ministerio de Educación de Taiwán ( TME 1997 ) proporcionaron grandes bases de datos con rangos de frecuencia para caracteres y palabras. La lista HSK de 8.848 palabras de alta y media frecuencia en la República Popular China , y la lista TOP de la República de China (Taiwán) de aproximadamente 8.600 palabras chinas tradicionales comunes son otras dos listas que muestran palabras y caracteres chinos comunes. Siguiendo el movimiento SUBTLEX, Cai y Brysbaert 2010 realizaron recientemente un estudio exhaustivo de las frecuencias de palabras y caracteres chinos.

Wikcionario contiene listas de frecuencia en más idiomas. ^{[ 23 ]}

Palabras más utilizadas en diferentes idiomas según Wikipedia o corpus combinados. ^{[ 24 ]}

• Nation, P. (1997), "Tamaño del vocabulario, cobertura del texto y listas de palabras" , en Schmitt; McCarthy (eds.), Vocabulario: Descripción, adquisición y pedagogía , Cambridge: Cambridge University Press, pp. 6–19 , ISBN  978-0-521-58551-4
• Laufer, B. (1997), "¿Qué hay en una palabra que la hace difícil o fácil? Algunos factores intraléxicos que afectan el aprendizaje de palabras.", Vocabulario: Descripción, adquisición y pedagogía , Cambridge: Cambridge University Press, pp. 140–155 , ISBN  9780521585514
• Nation, P. (2006), "Educación lingüística - Vocabulario", Enciclopedia de Lenguaje y Lingüística , Oxford, pp. 494–499 , doi : 10.1016/B0-08-044854-2/00678-7 , ISBN  9780080448541{{citation}}: CS1 mantenimiento: falta el editor de ubicación ( enlace ) .
• Brysbaert, Marc; Buchmeier, Matthias; Conrad, Markus; Jacobs, Arthur M.; Bölte, Jens; Böhl, Andrea (2011). "El efecto de la frecuencia de las palabras: una revisión de los desarrollos recientes y sus implicaciones para la elección de estimaciones de frecuencia en alemán" . Psicología Experimental . 58 (5): 412– 424. doi : 10.1027/1618-3169/a000123 . PMID 21768069 . base de datos
• Rudell, AP (1993), "Frecuencia de uso de palabras y dificultad percibida de las palabras :  Calificaciones de las palabras de Kucera y Francis", Most , vol.  25, pp. 455–463 
• Segui, J.; Mehler, Jacques; Frauenfelder, Uli; Morton, John (1982), "El efecto de la frecuencia de las palabras y el acceso léxico" , Neuropsychologia , 20 (6): 615– 627, doi : 10.1016/0028-3932(82)90061-6 , PMID 7162585 , S2CID 39694258  
• Meier, Helmut (1967), Deutsche Sprachstatistik , Hildesheim: Olms(lista de frecuencia de palabras en alemán)
• DeFrancis, John (1966), Por qué Johnny no puede leer chino
• Allanic, Bernard (2003), El corpus de personajes y su aspecto pedagógico en la China antigua y contemporánea (fr: Les corpus de caractères et leur dimension pédagogique dans la Chine ancienne et contemporaine) (These de doctorat), París: INALCO

• Da, Jun (1998), Jun Da: Computación de texto chino , consultado el 21 de agosto de 2010..
• Ministerio de Educación de Taiwán (1997),八十六年常用語詞調查報告書, consultado el 21 de agosto de 2010.
• New, Boris; Pallier, Christophe, Manuel de Lexique 3 (en francés) (  ed. 3.01), archivado del original el 11 de abril de 2012 , consultado el 23 de mayo de 2012..
• Gimenes, Manuel; New, Boris (2016), "Worldlex: Frecuencias de palabras en Twitter y blogs para 66 idiomas", Behavior Research Methods , 48 ​​(3): 963–972 , doi : 10.3758/s13428-015-0621-0 , ISSN 1554-3528 , PMID 26170053  .

• New, B.; Brysbaert, M.; Veronis, J.; Pallier, C. (2007). "SUBTLEX-FR: El uso de subtítulos de películas para estimar frecuencias de palabras" (PDF) . Psicolingüística Aplicada . 28 (4): 661. doi : 10.1017/s014271640707035x . hdl : 1854/LU-599589 . S2CID 145366468. Archivado del original (PDF) el 24 de octubre de 2016. 
• Brysbaert, Marc; New, Boris (2009), "Más allá de Kucera y Francis: una evaluación crítica de las normas actuales de frecuencia de palabras y la introducción de una nueva y mejorada medida de frecuencia de palabras para el inglés americano" (PDF) , Behavior Research Methods , 41 (4): 977–990 , doi : 10.3758/brm.41.4.977 , PMID 19897807 , S2CID 4792474  
• Keuleers, E, M, B.; New, B. (2010), "SUBTLEX--NL: Una nueva medida de frecuencia de palabras en neerlandés basada en subtítulos de películas" , Behavior Research Methods , 42 (3): 643– 650, doi : 10.3758/brm.42.3.643 , PMID 20805586 {{citation}}: CS1 maint: varios nombres: lista de autores ( enlace )
• Cai, Q.; Brysbaert, M. (2010), "SUBTLEX-CH: Frecuencias de palabras y caracteres chinos basadas en subtítulos de películas", PLOS ONE , 5 (6): 8, Bibcode : 2010PLoSO...510729C , doi : 10.1371/journal.pone.0010729 , PMC 2880003 , PMID 20532192  
• Cuetos, F.; Glez-nosti, María; Barbón, Analía; Brysbaert, Marc (2011), "SUBTLEX-ESP  : Frecuencias de palabras en español basadas en subtítulos de películas" (PDF) , Psicológica , 32 : 133– 143
• Dimitropoulou, M.; Duñabeitia, Jon Andoni; Avilés, Alberto; Corral, José; Carreiras, Manuel (2010), "SUBTLEX-GR: Frecuencias de palabras basadas en subtítulos como mejor estimación del comportamiento de lectura: el caso del griego", Fronteras en psicología , 1 (diciembre): 12, doi : 10.3389/fpsyg.2010.00218 , PMC 3153823 , PMID 21833273  
• Pham, H.; Bolger, P.; Baayen, RH (2011), "SUBTLEX-VIE  : Una medida para la frecuencia de palabras y caracteres vietnamitas en subtítulos de películas", ACOL
• Brysbaert, Marc; Buchmeier, Matthias; Conrad, Markus; Jacobs, Arthur M.; Bölte, Jens; Böhl, Andrea (2011), "El efecto de la frecuencia de las palabras" , Psicología Experimental , 58 (5): 412– 424, doi : 10.1027/1618-3169/a000123 , ISSN 1618-3169 , archivado del original el 8 de febrero de 2023 
• Brysbaert, M.; New, Boris; Keuleers, E. (2012), " SUBTLEX-US  : Añadiendo información sobre la categoría gramatical a las frecuencias de palabras de SUBTLEXus" (PDF) , Behavior Research Methods : 1–22( Bases de datos archivadas el 20 de agosto de 2010 en Wayback Machine )
• Mandera, P.; Keuleers, E.; Wodniecka, Z.; Brysbaert, M. (2014). "Subtlex-pl: estimaciones de frecuencia de palabras basadas en subtítulos para polaco" (PDF) . Behav Res Methods . 47 (2): 471– 483. doi : 10.3758/s13428-014-0489-4 . PMID 24942246. S2CID 2334688 .  
• Tang, K. (2012), "Un corpus de 61 millones de palabras de subtítulos de películas en portugués brasileño como recurso para la investigación lingüística", UCL Work Pap Linguist (24): 208–214
• Avdyli, Rrezarta; Cuetos, Fernando (junio de 2013), "SUBTLEX- AL: frecuencias de palabras albanesas basadas en subtítulos de películas" , ILIRIA International Review , 3 (1): 285–292 , doi : 10.21113/iir.v3i1.112 (inactivo el 12 de julio de 2025), hdl : 10651/33902 , ISSN 2365-8592 {{citation}}: CS1 maint: DOI inactivo desde julio de 2025 ( enlace )
• Soares, Ana Paula; Machado, João; Costa, Ana; Iriarte, Álvaro; Simões, Alberto; de Almeida, José João; Comesaña, Montserrat; Perea, Manuel (abril de 2015), "Sobre las ventajas de las medidas de frecuencia de palabras y diversidad contextual extraídas de subtítulos: El caso del portugués", The Quarterly Journal of Experimental Psychology , 68 (4): 680– 696, doi : 10.1080/17470218.2014.964271 , PMID 25263599 , S2CID 5376519