Codificación de caracteres

La codificación de caracteres es una convención que utiliza un valor numérico para representar cada carácter de un sistema de escritura . Un conjunto de caracteres no solo puede incluir símbolos del lenguaje natural , sino también códigos con significados o funciones ajenas al lenguaje, como caracteres de control y espacios en blanco . También se han definido codificaciones de caracteres para algunos lenguajes construidos . Una vez codificados, los datos de caracteres pueden almacenarse, transmitirse y transformarse mediante un ordenador . ^{[ 1 ]} Los valores numéricos que componen una codificación de caracteres se conocen como puntos de código y, en conjunto, conforman un espacio de código o una página de código .

Las primeras codificaciones de caracteres, que se originaron con la telegrafía óptica o eléctrica y en las primeras computadoras, solo podían representar un subconjunto de los caracteres utilizados en los idiomas, a veces restringido a letras mayúsculas , números y signos de puntuación limitados . Con el tiempo, se crearon codificaciones capaces de representar más caracteres, como ASCII , ISO/IEC 8859 y las codificaciones Unicode como UTF-8 y UTF-16 .

La codificación de caracteres más popular en la World Wide Web es UTF-8, que se utiliza en el 98,9% de los sitios web encuestados, según datos de enero de 2026. . ^{[ 2 ]} En programas de aplicación y tareas del sistema operativo , tanto UTF-8 como UTF-16 son opciones populares. ^{[ 3 ]}

La historia de los códigos de caracteres ilustra la creciente necesidad de transmitir información simbólica basada en caracteres a distancia mediante máquinas, utilizando medios eléctricos que en su momento fueron novedosos. Los primeros códigos se basaban en sistemas de codificación y cifrado manuales y manuscritos, como el cifrado de Bacon , el Braille , las banderas de señales marítimas internacionales y la codificación de cuatro dígitos de caracteres chinos para un código telegráfico chino ( Hans Schjellerup , 1869). Con la adopción de técnicas eléctricas y electromecánicas, estos primeros códigos se adaptaron a las nuevas capacidades y limitaciones de las primeras máquinas. El primer código de caracteres transmitido eléctricamente conocido, el código Morse , introducido en la década de 1840, utilizaba un sistema de cuatro "símbolos" (señal corta, señal larga, espacio corto, espacio largo) para generar códigos de longitud variable. Aunque algunos usos comerciales del código Morse se realizaron mediante maquinaria, a menudo se utilizaba como código manual, generado a mano con una llave telegráfica y descifrable al oído, y aún se utiliza en la radioafición y la aeronáutica . La mayoría de los códigos tienen una longitud fija por carácter o son secuencias de longitud variable de códigos de longitud fija (por ejemplo, Unicode ). ^{[ 4 ]}

Algunos ejemplos comunes de sistemas de codificación de caracteres son el código Morse, el código Baudot , el Código Estándar Estadounidense para el Intercambio de Información (ASCII) y Unicode. Unicode, un sistema de codificación bien definido y extensible, ha reemplazado a la mayoría de las codificaciones de caracteres anteriores, pero la trayectoria del desarrollo de los códigos hasta la actualidad es bastante conocida.

El código Baudot, una codificación de cinco bits , fue creado por Émile Baudot en 1870, patentado en 1874, modificado por Donald Murray en 1901 y estandarizado por la CCITT como Alfabeto Telegráfico Internacional n.°  2 (ITA2) en 1930. El nombre Baudot se ha aplicado erróneamente a ITA2 y sus numerosas variantes. ITA2 presentaba muchas deficiencias y fue mejorado con frecuencia por diversos fabricantes de equipos, lo que en ocasiones generó problemas de compatibilidad.

Herman Hollerith inventó la codificación de datos mediante tarjetas perforadas a finales del siglo XIX para analizar datos censales. Inicialmente, cada perforación representaba un elemento de datos diferente, pero posteriormente, la información numérica se codificaba numerando las filas inferiores del 0 al 9, con una perforación en una columna que representaba su número de fila. Más tarde, los datos alfabéticos se codificaban permitiendo más de una perforación por columna. Las máquinas tabuladoras electromecánicas representaban la fecha internamente mediante la sincronización de pulsos con el movimiento de las tarjetas a través de la máquina.

Cuando IBM pasó al procesamiento electrónico, comenzando con el multiplicador electrónico IBM 603 , utilizó una variedad de esquemas de codificación binaria que estaban vinculados al código de tarjeta perforada. IBM utilizó varios esquemas de codificación de caracteres decimal codificado en binario (BCD) de seis bits, comenzando ya en 1953 en sus computadoras 702 ^{[ 5 ]} y 704 , y en sus series posteriores 7000 y 1400 , así como en periféricos asociados. Dado que el código de tarjeta perforada en uso entonces se limitaba a dígitos, letras mayúsculas inglesas y algunos caracteres especiales, seis bits eran suficientes. Estas codificaciones BCD extendieron la codificación numérica simple de cuatro bits existente para incluir caracteres alfabéticos y especiales, mapeándolos fácilmente a la codificación de tarjeta perforada que ya estaba ampliamente extendida. Los códigos de IBM se usaban principalmente con equipos IBM. Otros proveedores de computadoras de la época tenían sus propios códigos de caracteres, a menudo de seis bits, como la codificación utilizada por la UNIVAC I. [ ^{6 ] Por} lo general, tenían la capacidad de leer cintas producidas en equipos IBM. Las codificaciones BCD de IBM fueron las precursoras de su Código de Intercambio Decimal Codificado en Binario Extendido (generalmente abreviado como EBCDIC), un esquema de codificación de ocho bits desarrollado en 1963 para el IBM System/360 que presentaba un conjunto de caracteres más amplio, incluidas las letras minúsculas.

En 1959, el ejército estadounidense definió su código Fieldata , un código de seis o siete bits, introducido por el Cuerpo de Señales del Ejército de los EE. UU. Si bien Fieldata resolvió muchos de los problemas de la época (por ejemplo, códigos de letras y dígitos organizados para la intercalación automática), no alcanzó sus objetivos y tuvo una vida corta. En 1963, el comité ASCII (que incluía al menos a un miembro del comité Fieldata, WF Leubbert) publicó el primer código ASCII (X3.4-1963), que solucionó la mayoría de las deficiencias de Fieldata mediante un código más simple de siete bits. Muchos de los cambios fueron sutiles, como conjuntos de caracteres intercalables dentro de ciertos rangos numéricos. ASCII63 fue un éxito, ampliamente adoptado por la industria, y con la publicación posterior del código ASCII de 1967 (que añadió letras minúsculas y corrigió algunos problemas del "código de control"), ASCII67 se adoptó de forma bastante generalizada. El carácter estadounidense de ASCII67 se abordó en cierta medida en el estándar europeo ECMA-6 . ^{[ 7 ]} Las codificaciones ASCII extendidas de ocho bits , como varias extensiones de proveedores y la serie ISO/IEC 8859 , admitían todos los caracteres ASCII, así como caracteres no ASCII adicionales.

En la década de 1980, al intentar desarrollar codificaciones de caracteres universalmente intercambiables, los investigadores se enfrentaron al dilema de que, por un lado, parecía necesario añadir más bits para acomodar caracteres adicionales, pero, por otro lado, para los usuarios del conjunto de caracteres relativamente pequeño del alfabeto latino (que aún constituían la mayoría de los usuarios de computadoras), esos bits adicionales representaban un desperdicio colosal de recursos informáticos entonces escasos y costosos (ya que siempre se pondrían a cero para dichos usuarios). En 1985, el disco duro del usuario promedio de una computadora personal podía almacenar solo unos 10 megabytes y costaba aproximadamente 250 dólares estadounidenses en el mercado mayorista (y mucho más si se compraba por separado en una tienda minorista), ^{[ 8 ]} por lo que era muy importante en ese momento hacer que cada bit contara.

La solución de compromiso que finalmente se encontró y se desarrolló en Unicode consistió en romper con la suposición (que se remonta a los códigos telegráficos) de que cada carácter debía corresponder siempre directamente a una secuencia de bits específica. En cambio, los caracteres se asignarían primero a una representación intermedia universal en forma de números abstractos llamados puntos de código . Estos puntos de código se representarían de diversas maneras y con diferentes números predeterminados de bits por carácter (unidades de código) según el contexto. Para codificar puntos de código superiores a la longitud de la unidad de código, como por ejemplo superiores a 256 para unidades de ocho bits, la solución fue implementar codificaciones de longitud variable, donde una secuencia de escape indicaría que los bits subsiguientes debían interpretarse como un punto de código superior.

Los diversos términos relacionados con la codificación de caracteres se utilizan a menudo de forma inconsistente o incorrecta. ^{[ 9 ]} Históricamente, un mismo estándar especificaba un repertorio de caracteres y cómo debían codificarse en una secuencia de unidades de código, generalmente con un solo carácter por unidad. Sin embargo, debido al surgimiento de codificaciones de caracteres más sofisticadas, la distinción entre términos se ha vuelto importante.

Unicode y su estándar paralelo, el Conjunto Universal de Caracteres ISO/IEC 10646 , constituyen un estándar unificado para la codificación de caracteres. En lugar de asignar caracteres directamente a bytes , Unicode define por separado un conjunto de caracteres codificados que asigna caracteres a números naturales únicos ( puntos de código ), cómo se asignan esos puntos de código a una serie de números naturales de tamaño fijo (unidades de código) y, finalmente, cómo se codifican esas unidades como una secuencia de octetos (bytes). El propósito de esta descomposición es establecer un conjunto universal de caracteres que pueda codificarse de diversas maneras. Para describir el modelo con precisión, Unicode utiliza términos existentes y define otros nuevos. ^{[ 12 ]}

Para dar soporte a entornos que utilizan múltiples codificaciones de caracteres, se ha desarrollado software para traducir texto entre diferentes esquemas de codificación de caracteres, un proceso conocido como transcodificación . Algunos ejemplos de software destacados son:

• Navegador web : los navegadores modernos cuentan con detección automática de codificación de caracteres.
• iconv – Programa y API estandarizada para convertir codificaciones
• luit – Programa que convierte la codificación de entrada y salida en programas que se ejecutan de forma interactiva.
• Componentes internacionales para Unicode : un conjunto de bibliotecas C y Java para la conversión de conjuntos de caracteres.
• Encoding.Convert – API de .NET ^{[ 15 ]}
• MultiByteToWideChar/WideCharToMultiByte: funciones de la API de Windows para convertir entre ANSI y Unicode ^{[ 16 ] [ 17 ]}

La codificación de caracteres más utilizada en la web es UTF-8 , presente en el 98,9% de los sitios web analizados, según datos de enero de 2026. . ^{[ 2 ]} En programas de aplicación y tareas del sistema operativo , tanto UTF-8 como UTF-16 son opciones populares. ^{[ 3 ] [ 18 ]}

• Codificación porcentual : método para codificar caracteres en una URI. 
• Código Alt – Método de entrada 
• Codificaciones de caracteres en HTML : uso de sistemas de codificación para caracteres internacionales en HTML 
• Análisis de conjuntos de caracteres : práctica de deducir el tipo de archivo de un flujo de bits. Páginas que muestran descripciones breves de destinos de redirección. 
• Categoría: Codificación de caracteres – artículos relacionados con la codificación de caracteres en general
• Categoría: Conjuntos de caracteres – artículos que detallan codificaciones de caracteres específicas
• Hexadecimal – Representación numérica en base 16 
• Mojibake : texto ilegible como resultado de codificaciones de caracteres incorrectas. 
• Mojikyō – Esquema de codificación de caracteres 
• Capa de presentación : capa del modelo OSI para la traducción de datos. 
• Tofu (símbolo) : Marca que se muestra cuando no se puede resolver un punto de código. 
  • .notdef , un carácter dentro de una fuente que se utilizará para este propósito.
• TRON (codificación) – Codificación de caracteres multibyte 
• Caracteres del conjunto de caracteres universal (Universal Character Set) : lista completa de los caracteres disponibles en la mayoría de los ordenadores. 

• Mackenzie, Charles E. (1980). Conjuntos de caracteres codificados, historia y desarrollo (PDF) . Serie de programación de sistemas (1.ª  ed.). Addison-Wesley Publishing Company, Inc. ISBN 978-0-201-14460-4LCCN 77-90165 . Archivado (PDF) del original el 26 de mayo de 2016. Consultado el 25 de agosto de 2019 . 

• Conjuntos de caracteres registrados por la Autoridad de Números Asignados de Internet (IANA)
• Caracteres y codificaciones , por Jukka Korpela
• Informe técnico Unicode n.º 17: Modelo de codificación de caracteres
• Códigos de caracteres decimales y hexadecimales en HTML Unicode – Convertidor de codificación
• Lo mínimo indispensable que todo desarrollador de software debe saber sobre Unicode y conjuntos de caracteres (¡Sin excusas!) por Joel Spolsky (10 de octubre de 2003)