Esquema de compresión estándar para Unicode

El esquema de compresión estándar para Unicode (SCSU) ^{[ 1 ]} es un estándar técnico de Unicode para reducir la cantidad de bytes necesarios para representar texto Unicode, especialmente si ese texto usa principalmente caracteres de uno o un pequeño número de bloques de caracteres por idioma. Lo hace mapeando dinámicamente valores en el rango 128-255 a desplazamientos dentro de bloques particulares de 128 caracteres. Las condiciones iniciales del codificador significan que las cadenas existentes en ASCII e ISO-8859-1 que no contienen códigos de control C0 distintos de NULL TAB CR y LF pueden tratarse como cadenas SCSU. Dado que la mayoría de los alfabetos residen en bloques de puntos de código Unicode contiguos, los textos que usan alfabetos pequeños y puntuación ASCII o puntuación que cabe dentro de la ventana para el alfabeto principal pueden codificarse a un byte por carácter (más la sobrecarga de configuración, que para los idiomas comunes suele ser solo 1 byte), la mayoría de la otra puntuación puede codificarse a 2 bytes por símbolo a través de desplazamientos sin bloqueo. SCSU también puede cambiar internamente a UTF-16 para manejar idiomas no alfabéticos.

Reuters desarrolló originalmente SCSU, luego bajo el nombre RCSU para Reuters Compression Scheme for Unicode. ^{[ 2 ] [ 3 ] [ 4 ] [ 5 ]}

Al principio, el Consorcio Unicode lo consideró una codificación de caracteres, ^{[ 6 ]} pero en 1999 cambió de opinión: aunque seguía considerándose una sintaxis de codificación de transferencia, durante un tiempo dejó de considerarse una codificación de caracteres porque diferentes compresores podían generar resultados distintos para el mismo texto. ^{[ 7 ]} Sin embargo, en 2004 se revirtió esta decisión y ahora SCSU se considera un esquema de codificación de caracteres de compresión , en contraposición a un esquema de codificación de caracteres simple o compuesto. ^{[ 8 ] [ 9 ]}

Roman Czyborra (de GNU Unifont ) escribió un descompresor. ^{[ 10 ]} El descompresor aportado por IBM se encuentra en International Components for Unicode , junto con un compresor escrito en Java. ^{[ 11 ]} Hay códecs de referencia más simples disponibles como adjuntos a TR6.

Symbian OS , un sistema operativo para teléfonos móviles y otros dispositivos móviles, utiliza SCSU para serializar cadenas de caracteres.

SQL Server 2008 R2 utiliza SCSU para comprimir valores Unicode (es decir, cadenas en codificación UCS-2 ) almacenados en columnas nchar(n) y nvarchar(n) , logrando ahorros de espacio de entre el 15 % y el 50 % (mientras que UTF-8 solo tiene esta reducción del 50 % para el subconjunto ASCII de Unicode), dependiendo del idioma de los datos. ^{[ 12 ]}

Las siguientes secciones describen brevemente la anatomía de un flujo SCSU comprimido. Para una descripción completa (similar a la de un descompresor), consulte el documento UTS n.° 6.

Debido a que el texto UTF-16 o UTF-8 puede ocupar más espacio que su equivalente en codificaciones pre-Unicode, se podría utilizar compresión como SCSU para mitigar este problema. ^{[ 13 ]} En comparación con los compresores de propósito general, no es necesariamente ventajoso usar SCSU. ^{[ 5 ]} Además, si bien se puede usar como codificación de texto, debido a la naturaleza con estado del algoritmo, pueden surgir dificultades al usarlo como representación interna de texto, ya que las operaciones básicas de texto se vuelven no triviales.

Considerado únicamente como un algoritmo de compresión, SCSU es inferior a la mayoría de los algoritmos de propósito general más utilizados para textos de más de unos pocos kilobytes.

SCSU tiene la ventaja de poder comprimir eficazmente textos de tan solo unos pocos caracteres, mientras que la mayoría de los compresores de gran tamaño necesitan cientos de bytes de datos para compensar su propio coste computacional. En Symbian OS , SCSU se utiliza incluso para operaciones del portapapeles, como cortar, copiar y pegar pequeñas cadenas de texto.

Los estándares HTML del W3C y del WHATWG prohíben el uso de SCSU (y BOCU-1, CESU-8, UTF-7, EBCDIC y UTF-32) en documentos HTML ^{[ 14 ] [ 15 ]} porque HTML no fue diseñado teniendo en cuenta codificaciones no compatibles con ASCII. En el pasado, se han demostrado vulnerabilidades de secuencias de comandos entre sitios debido al manejo deficiente de dichas codificaciones por parte de los navegadores. ^{[ 16 ]}

• Compresión binaria ordenada para Unicode (BOCU-1)
• Componentes internacionales para Unicode: Una biblioteca que permite la conversión entre SCSU y otras codificaciones Unicode.