Personajes del conjunto de caracteres universal

El Consorcio Unicode y el ISO/IEC JTC 1/SC 2 / WG 2 colaboran conjuntamente en la lista de caracteres del Conjunto Universal de Caracteres Codificados ( UCS) . El UCS es un estándar internacional que asigna caracteres , símbolos discretos utilizados en el lenguaje natural , las matemáticas , la música y otros ámbitos, a valores de datos únicos legibles por máquina . Gracias a esta asignación, el UCS permite a los proveedores de software informático interoperar y transmitir ( intercambiar ) cadenas de texto codificadas en UCS . Al ser un mapa universal , puede utilizarse para representar varios idiomas simultáneamente. Esto evita la confusión que supone el uso de múltiples codificaciones de caracteres heredadas , lo que puede dar lugar a que una misma secuencia de códigos tenga múltiples interpretaciones según la codificación utilizada, generando errores tipográficos si se elige la incorrecta.

UCS tiene una capacidad potencial de más de 1 millón de caracteres. Cada carácter UCS se representa abstractamente mediante un punto de código , un número entero entre 0 y 1.114.111 (1.114.112 = 2²⁰ ⁺ 2¹⁶ ^o 17 × ^2¹⁶ = 0 x 110.000 puntos de código ), utilizado para representar cada carácter dentro de la lógica interna del software de procesamiento de texto . A partir de Unicode 17.0 , publicado en septiembre de 2025, 303.808 (27%) de estos puntos de código están asignados, 159.866 (14%) se han asignado a caracteres, 137.468 (12%) están reservados para uso privado , 2.048 se utilizan para habilitar el mecanismo de sustitutos y 66 están designados como no caracteres , dejando los 810.304 restantes (73%) sin asignar. El número de caracteres codificados se compone de la siguiente manera:

• 159.629 caracteres gráficos (algunos de los cuales no tienen un glifo visible , pero aun así se consideran gráficos).
• 237 caracteres especiales para control y formato .

ISO mantiene la correspondencia básica entre el nombre del carácter y su punto de código. A menudo, los términos carácter y punto de código se usan indistintamente. Sin embargo, cuando se hace una distinción, un punto de código se refiere al número entero del carácter: lo que podría considerarse su dirección. Mientras tanto, un carácter en ISO/IEC 10646 incluye la combinación del punto de código y su nombre. Unicode agrega muchas otras propiedades útiles al conjunto de caracteres, como bloque , categoría, escritura y direccionalidad .

Además del UCS, el estándar Unicode complementario (que no es un proyecto conjunto con ISO, sino una publicación del Consorcio Unicode) proporciona otros detalles de implementación, tales como:

1. Correspondencias entre UCS y otros conjuntos de caracteres
2. diferentes combinaciones de caracteres y cadenas de caracteres para diferentes idiomas
3. un algoritmo para la maquetación de texto bidireccional ("el algoritmo BiDi "), donde el texto en la misma línea puede alternar entre izquierda a derecha ("LTR") y derecha a izquierda ("RTL").
4. un algoritmo de plegado de casos

Los usuarios finales de software informático introducen estos caracteres en los programas mediante diversos métodos de entrada , por ejemplo, teclados físicos o paletas de caracteres virtuales .

El UCS se puede dividir de varias maneras, como por plano , bloque, categoría de carácter o propiedad de carácter . ^{[ 1 ]}

Una referencia numérica de caracteres HTML o XML hace referencia a un carácter por su punto de código del Conjunto Universal de Caracteres /Unicode y utiliza el formato

&#nnnn;

o

&#xhhhh;

donde nnnn es el punto de código en formato decimal y hhhh es el punto de código en formato hexadecimal . La x debe estar en minúscula en los documentos XML. nnnn o hhhh pueden contener cualquier número de dígitos y pueden incluir ceros iniciales. hhhh puede combinar mayúsculas y minúsculas, aunque lo habitual es usar mayúsculas.

En cambio, una referencia a una entidad de carácter se refiere a un carácter mediante el nombre de una entidad que tiene el carácter deseado como texto de reemplazo . La entidad debe estar predefinida (integrada en el lenguaje de marcado) o declarada explícitamente en una Definición de Tipo de Documento (DTD). El formato es el mismo que para cualquier referencia a una entidad:

&nombre;

donde nombre es el nombre de la entidad, respetando las mayúsculas y minúsculas. El punto y coma es obligatorio.

Unicode e ISO dividen el conjunto de puntos de código en 17 planos, cada uno capaz de contener 65 536 caracteres distintos, o 1 114 112 en total. A fecha de 2025 (Unicode 17.0 ), ISO y el Consorcio Unicode solo han asignado caracteres y bloques en siete de los 17 planos. Los demás permanecen vacíos y reservados para uso futuro.

Actualmente, la mayoría de los caracteres se asignan al primer plano: el Plano Multilingüe Básico . Esto facilita la transición para el software heredado, ya que el Plano Multilingüe Básico se puede direccionar con solo dos octetos . Los caracteres que no pertenecen al primer plano suelen tener un uso muy especializado o poco frecuente.

Cada plano corresponde al valor de uno o dos dígitos hexadecimales (0-9, A-F) que preceden a los cuatro últimos: por lo tanto, U+24321 está en el Plano 2, U+4321 está en el Plano 0 (implícitamente se lee U+04321) y U+10A200 estaría en el Plano 16 (hexadecimal 10 = decimal 16). Dentro de un plano, el rango de puntos de código es hexadecimal 0000-FFFF, lo que da como resultado un máximo de 65536 puntos de código. Los planos restringen los puntos de código a un subconjunto de ese rango.

Unicode añade una propiedad de bloque al UCS que divide cada plano en bloques separados. Cada bloque es una agrupación de caracteres según su uso, como "operadores matemáticos" o "caracteres de la escritura hebrea". Al asignar caracteres a puntos de código previamente no asignados, el Consorcio suele asignar bloques completos de caracteres similares: por ejemplo, todos los caracteres pertenecientes a la misma escritura o todos los símbolos con un propósito similar se asignan a un solo bloque. Los bloques también pueden mantener puntos de código no asignados o reservados cuando el Consorcio prevé que un bloque requerirá asignaciones adicionales.

Los primeros 256 puntos de código del UCS corresponden a los de ISO 8859-1 , la codificación de caracteres de 8 bits más popular en Occidente . Por consiguiente, los primeros 128 caracteres también son idénticos a ASCII . Si bien Unicode los denomina bloque de escritura latina, estos dos bloques contienen muchos caracteres de uso común fuera de la escritura latina. En general, no todos los caracteres de un bloque determinado tienen por qué pertenecer a la misma escritura, y una misma escritura puede aparecer en varios bloques diferentes.

Unicode asigna a cada carácter UCS una categoría general y una subcategoría. Las categorías generales son: letra, marca, número, puntuación, símbolo o control (es decir, un carácter de formato o no gráfico).

Los tipos incluyen:

• Escrituras modernas, históricas y antiguas . A partir de 2025 (Unicode 17.0 ), el UCS identifica 172 escrituras que se utilizan o se han utilizado en todo el mundo. Muchas más se encuentran en diversas etapas de aprobación para su futura inclusión en el UCS. ^{[ 2 ]}
• Alfabeto Fonético Internacional . El UCS dedica varios bloques (más de 300 caracteres) a los caracteres del Alfabeto Fonético Internacional .
• Combinación de signos diacríticos . Un avance importante concebido por Unicode al diseñar el UCS y los algoritmos relacionados para el procesamiento de texto fue la introducción de la combinación de signos diacríticos. Al proporcionar acentos que pueden combinarse con cualquier carácter de letra, Unicode y el UCS reducen significativamente la cantidad de caracteres necesarios. Si bien el UCS también incluye caracteres precompuestos, estos se incluyeron principalmente para facilitar la compatibilidad dentro del UCS con sistemas de procesamiento de texto que no son Unicode.
• Puntuación . Además de unificar los signos diacríticos, el UCS también buscaba unificar la puntuación en todos los sistemas de escritura. Sin embargo, muchos sistemas de escritura contienen signos de puntuación que no tienen un significado similar en otros sistemas.
• Símbolos . El UCS incluye numerosos símbolos matemáticos, técnicos, geométricos y de otra índole. Esto permite que cada símbolo tenga su propio punto de código o carácter, en lugar de depender del cambio de fuentes para representar los glifos simbólicos.
  • Divisa .
  • Símbolos parecidos a letras . Estos símbolos se parecen a combinaciones de muchas letras comunes de la escritura latina, como ℅ . Unicode designa muchos de los símbolos parecidos a letras como caracteres de compatibilidad, generalmente porque pueden estar en texto plano sustituyendo glifos por una secuencia de caracteres que los compone: por ejemplo, sustituyendo el glifo ℅ por la secuencia compuesta de caracteres c/o .
  • Formas numéricas . Las formas numéricas consisten principalmente en fracciones precompuestas y números romanos. Al igual que en otras áreas de composición de secuencias de caracteres, el enfoque Unicode prefiere la flexibilidad de componer fracciones combinando caracteres. En este caso, para crear fracciones, se combinan números con el carácter de barra de fracción (U+2044). Como ejemplo de la flexibilidad que ofrece este enfoque, el UCS incluye diecinueve caracteres de fracción precompuestos. Sin embargo, existe una infinidad de fracciones posibles. Mediante el uso de caracteres de composición, la infinidad de fracciones se maneja con 11 caracteres (0-9 y la barra de fracción). Ningún conjunto de caracteres podría incluir puntos de código para cada fracción precompuesta. Idealmente, un sistema de texto debería presentar los mismos glifos para una fracción, ya sea una de las fracciones precompuestas (como ⅓ ) o una secuencia de caracteres de composición (como 1⁄3 ). Sin embargo, los navegadores web no suelen ser tan sofisticados en el manejo de Unicode y texto. De este modo, se garantiza que las fracciones precompuestas y las fracciones de secuencia de combinación aparezcan compatibles unas junto a otras.
  • Flechas .
  • Matemático .
  • Formas geométricas .
  • Informática heredada .
  • Imágenes de control Representaciones gráficas de muchos caracteres de control.
  • Dibujo de caja .
  • Elementos de bloque .
  • Patrones Braille .
  • Reconocimiento óptico de caracteres .
  • Técnico .
  • Tontos .
  • Símbolos varios .
  • Emoticonos .
  • Símbolos y pictogramas .
  • Símbolos alquímicos .
  • Piezas de juegos (ajedrez, damas, go, dados, dominó, mahjong, cartas y muchas otras).
  • Símbolos de ajedrez
  • Tai Xuan Jing .
  • Símbolos del hexagrama Yijing .
• CJK . Dedicado a los ideogramas y otros caracteres para apoyar los idiomas de China, Japón, Corea (CJK), Taiwán, Vietnam y Tailandia.
  • Radicales y trazos .
  • Ideogramas . La mayor parte del UCS está dedicada a los ideogramas utilizados en las lenguas del este de Asia. Si bien la representación de estos ideogramas mediante glifos ha variado en las lenguas que los emplean, el UCS unifica estos caracteres Han en lo que Unicode denomina Unihan (por Han Unificado). Con Unihan, el software de maquetación debe trabajar conjuntamente con las fuentes disponibles y estos caracteres Unicode para generar el glifo adecuado para cada idioma. A pesar de la unificación de estos caracteres, el UCS aún incluye más de 101 000 ideogramas Unihan.
• Notación musical .
• Taquigrafías de Duployan .
• Rotulación Sutton .
• Caracteres de compatibilidad . Varios bloques del UCS están dedicados casi exclusivamente a caracteres de compatibilidad. Estos caracteres se incluyen para dar soporte a sistemas de procesamiento de texto antiguos que no distinguen entre caracteres y glifos como lo hace Unicode. Por ejemplo, muchas letras árabes se representan con un glifo diferente cuando aparecen al final de una palabra que cuando aparecen al principio. El enfoque de Unicode prefiere que estas letras se asignen al mismo carácter para facilitar el procesamiento y almacenamiento interno del texto. Para complementar este enfoque, el software de texto debe seleccionar diferentes variantes de glifos para la visualización del carácter según su contexto. Se incluyen más de 4000 caracteres por motivos de compatibilidad.
• Controlar personajes .
• Sustitutos . El UCS incluye 2048 puntos de código en el Plano Multilingüe Básico (BMP) para pares de puntos de código sustitutos. Estos sustitutos permiten direccionar cualquier punto de código en los otros dieciséis planos mediante dos puntos de código sustitutos. Esto proporciona un método integrado sencillo para codificar el UCS de 20,1 bits dentro de una codificación de 16 bits como UTF-16. De esta forma, UTF-16 puede representar cualquier carácter dentro del BMP con una sola palabra de 16 bits. Los caracteres fuera del BMP se codifican utilizando dos palabras de 16 bits (4 octetos o bytes en total) mediante los pares de sustitutos.
• Uso privado . El consorcio proporciona varios bloques y planos de uso privado a los que se pueden asignar caracteres dentro de diversas comunidades, así como proveedores de sistemas operativos y fuentes tipográficas.
• No caracteres . El consorcio garantiza que a ciertos puntos de código nunca se les asignará un carácter y los denomina puntos de código no caracteres . Estos incluyen el rango U+FDD0..U+FDEF y los dos últimos puntos de código de cada plano (que terminan en los dígitos hexadecimales FFFE y FFFF). ^{[ 3 ]}

Unicode codifica más de cien mil caracteres. La mayoría de ellos representan grafemas para su procesamiento como texto lineal. Sin embargo, algunos no representan grafemas o, como tales, requieren un tratamiento especial. ^{[ 4 ] [ 5 ]} A diferencia de los caracteres de control ASCII y otros caracteres incluidos para las capacidades de ida y vuelta heredadas, estos otros caracteres de propósito especial dotan al texto plano de una semántica importante.

Algunos caracteres especiales pueden alterar la disposición del texto, como el separador de ancho cero y el separador de ancho cero , mientras que otros no afectan en absoluto la disposición del texto, sino la forma en que las cadenas de texto se intercalan, se comparan o se procesan de otro modo. Otros caracteres especiales, como los caracteres matemáticos invisibles , generalmente no afectan la representación del texto, aunque el software de maquetación avanzado puede ajustar sutilmente el espaciado a su alrededor.

Unicode no especifica la división del trabajo entre la fuente y el software de maquetación (o "motor") al renderizar texto Unicode. Dado que los formatos de fuente más complejos, como OpenType o Apple Advanced Typography , permiten la sustitución contextual y el posicionamiento de glifos, un motor de maquetación simple podría depender completamente de la fuente para todas las decisiones de selección y colocación de glifos. En la misma situación, un motor más complejo podría combinar información de la fuente con sus propias reglas para lograr su propia idea de la mejor representación. Para implementar todas las recomendaciones de la especificación Unicode, un motor de texto debe estar preparado para trabajar con fuentes de cualquier nivel de sofisticación, ya que las reglas de sustitución contextual y posicionamiento no existen en algunos formatos de fuente y son opcionales en el resto. La barra de fracción es un ejemplo: las fuentes complejas pueden o no proporcionar reglas de posicionamiento en presencia del carácter de barra de fracción para crear una fracción, mientras que las fuentes en formatos simples no pueden.

Fracción barra

El carácter U+2044 / FRACTION SLASH tiene un comportamiento especial en el estándar Unicode: ^{[ 6 ]}

La forma estándar de una fracción construida con la barra de fracción se define de la siguiente manera: cualquier secuencia de uno o más dígitos decimales (Categoría general = Nd), seguida de la barra de fracción, seguida de cualquier secuencia de uno o más dígitos decimales. Dicha fracción debe mostrarse como una unidad, como ¾ . Si el software de visualización no puede asignar la fracción a una unidad, también puede mostrarse como una secuencia lineal simple como alternativa (por ejemplo, 3/4). Si la fracción debe separarse de un número anterior, se puede usar un espacio, eligiendo el ancho apropiado (normal, delgado, ancho cero, etc.). Por ejemplo, 1 + ESPACIO DE ANCHO CERO + 3 + BARRA DE FRACCIÓN + 4 se muestra como 1¾ .

Siguiendo esta recomendación de Unicode, los sistemas de procesamiento de texto generan símbolos complejos a partir de texto plano. En este caso, la presencia de la barra diagonal indica al motor de maquetación que sintetice una fracción a partir de todos los dígitos consecutivos que la preceden y la siguen. En la práctica, los resultados varían debido a la compleja interacción entre las fuentes y los motores de maquetación. Los motores de maquetación de texto sencillos tienden a no sintetizar fracciones y, en su lugar, dibujan los glifos como una secuencia lineal, tal como se describe en el esquema de reserva de Unicode.

Los motores de maquetación más sofisticados se enfrentan a dos opciones prácticas: seguir la recomendación de Unicode o basarse en las instrucciones de la propia fuente para la síntesis de fracciones. Al ignorar las instrucciones de la fuente, el motor de maquetación garantiza el comportamiento recomendado por Unicode. Al seguir las instrucciones de la fuente, el motor de maquetación logra una mejor tipografía, ya que la ubicación y la forma de los dígitos se ajustan a esa fuente y tamaño específicos.

El problema de seguir las instrucciones de la fuente radica en que los formatos más sencillos no permiten especificar el comportamiento de síntesis de fracciones. Por otro lado, los formatos más complejos no requieren que la fuente especifique dicho comportamiento, por lo que muchos no lo hacen. La mayoría de las fuentes de formatos complejos pueden indicar al motor de maquetación que reemplace una secuencia de texto plano, como 1⁄2 , con el glifo precompuesto ½ . Sin embargo, dado que muchas de ellas no emiten instrucciones para sintetizar fracciones, una cadena de texto plano como 221⁄225 podría representarse como 22½25 (donde ½ es la fracción precompuesta sustituida, en lugar de la sintetizada). Ante este tipo de problemas, quienes deseen confiar en el comportamiento Unicode recomendado deberían elegir fuentes que sinteticen fracciones o software de maquetación que produzca el comportamiento Unicode recomendado, independientemente de la fuente.

El término «carácter» no está bien definido, y generalmente nos referimos al grafema . Un grafema se representa visualmente mediante su glifo . La tipografía (a menudo denominada erróneamente fuente ) puede mostrar variaciones visuales del mismo carácter. Es posible que dos grafemas diferentes tengan exactamente el mismo glifo o que sean tan similares visualmente que el lector promedio no pueda distinguirlos.

Un grafema casi siempre está representado por un punto de código; por ejemplo, la letra mayúscula latina "a" está representada por el punto de código U+0041.

El grafema U+00C4 Ä LETRA MAYÚSCULA LATINA A CON DIÉRESIS es un ejemplo donde un carácter puede ser representado por más de un punto de código. Puede representarse como U+00C4, o como la secuencia U+0041 A LETRA MAYÚSCULA LATINA A y U+0308 ◌ ̈ COMBINANDO DIÉRESIS .

Cuando una marca de combinación está adyacente a un punto de código de marca no combinativa, las aplicaciones de representación de texto deben superponer la marca de combinación sobre el glifo representado por el otro punto de código para formar un grafema de acuerdo con un conjunto de reglas. ^{[ 7 ]}

Por lo tanto, la palabra BÄM constaría de tres grafemas. Podría estar compuesta por tres puntos de código o más, dependiendo de cómo se compongan realmente los caracteres.

Unicode proporciona una lista de caracteres que considera caracteres de espacio en blanco para garantizar la interoperabilidad. Las implementaciones de software y otros estándares pueden usar el término para denotar un conjunto de caracteres ligeramente diferente. Por ejemplo, Java no considera U+00A0 NO-BREAK SPACE ni U+0085 <control-0085>. (SIGUIENTE LÍNEA) para ser espacio en blanco, aunque Unicode lo haga. Los caracteres de espacio en blanco son caracteres que normalmente se designan para entornos de programación. A menudo no tienen significado sintáctico en dichos entornos de programación y son ignorados por los intérpretes de máquina. Unicode designa los caracteres de control heredados U+0009 a U+000D y U+0085 como caracteres de espacio en blanco, así como todos los caracteres cuyo valor de propiedad de Categoría general es Separador. Hay un total de 25 caracteres de espacio en blanco a partir de Unicode 17.0 .

Todos los puntos de código a los que se les asigna algún propósito o uso se consideran puntos de código designados. De estos, pueden estar asignados a un carácter abstracto o designados para algún otro propósito.

Mientras que muchos otros conjuntos de caracteres asignan un carácter a cada posible representación de glifo del carácter, Unicode busca tratar los caracteres por separado de los glifos. Esta distinción no siempre es inequívoca; sin embargo, algunos ejemplos ayudarán a ilustrarla. A menudo, dos caracteres se combinan tipográficamente para mejorar la legibilidad del texto. Por ejemplo, la secuencia de tres letras "ffi" puede tratarse como un solo glifo. Otros conjuntos de caracteres suelen asignar un punto de código a este glifo, además de a las letras individuales: "f" e "i".

Además, Unicode trata las letras modificadas con diacríticos como caracteres separados que, al representarse, se convierten en un solo glifo. Por ejemplo, una "o" con diéresis : " ö ". Tradicionalmente, otros conjuntos de caracteres asignaban un punto de código único para cada letra modificada con diacríticos utilizada en cada idioma. Unicode busca crear un enfoque más flexible al permitir la combinación de caracteres diacríticos con cualquier letra. Esto tiene el potencial de reducir significativamente la cantidad de puntos de código activos necesarios para el conjunto de caracteres. Como ejemplo, consideremos un idioma que utiliza el alfabeto latino y combina la diéresis con las letras mayúsculas y minúsculas "a", "o" y "u". Con el enfoque de Unicode, solo es necesario agregar el carácter diacrítico de diéresis al conjunto de caracteres para usarlo con las letras latinas: "a", "A", "o", "O", "u" y "U": siete caracteres en total. Un conjunto de caracteres antiguo necesita agregar seis letras precompuestas con diéresis, además de los seis puntos de código que usa para las letras sin diéresis: doce puntos de código de caracteres en total.

Cada carácter en Unicode se define mediante un conjunto de propiedades amplio y en constante crecimiento. La mayoría de estas propiedades no forman parte del Conjunto Universal de Caracteres (UCC). Las propiedades facilitan el procesamiento de texto, incluyendo la intercalación o clasificación del texto, la identificación de palabras, oraciones y grafemas, la representación gráfica del texto, etc. A continuación se muestra una lista de algunas de las propiedades principales. Existen muchas otras documentadas en la Base de Datos de Caracteres Unicode. ^{[ 15 ]}

Unicode proporciona una base de datos en línea ^{[ 21 ]} para consultar de forma interactiva todo el repertorio de caracteres Unicode por sus diversas propiedades.

• Registro Unicode de ConScript
• Caracteres de compatibilidad Unicode

• Consorcio Unicode
• decodeunicode.org Wiki de Unicode con los 98884 caracteres gráficos de Unicode 5.0 en formato GIF y búsqueda de texto completo.
• Caracteres Unicode por propiedad