Hashing difuso

El hashing difuso , también conocido como hashing de similitud , ^{[ 1 ]} es una técnica para detectar datos que son similares , pero no exactamente iguales, a otros datos. Esto contrasta con las funciones hash criptográficas , que están diseñadas para tener hashes significativamente diferentes incluso para diferencias mínimas. El hashing difuso se ha utilizado para identificar malware ^{[ 2 ] [ 3 ]} y tiene potencial para otras aplicaciones, como la prevención de pérdida de datos y la detección de múltiples versiones de código. ^{[ 4 ] [ 5 ]}

Una función hash es un algoritmo matemático que asigna datos de tamaño arbitrario a una salida de tamaño fijo. Muchas soluciones utilizan funciones hash criptográficas como SHA-256 para detectar duplicados o verificar archivos conocidos dentro de una gran colección de archivos. ^{[ 4 ]} Sin embargo, las funciones hash criptográficas no se pueden usar para determinar si un archivo es similar a un archivo conocido, porque uno de los requisitos de una función hash criptográfica es que un pequeño cambio en la entrada debería modificar el valor hash de forma tan extensa que el nuevo valor hash parezca no estar correlacionado con el valor hash anterior ( efecto avalancha ). ^{[ 6 ]}

El hashing difuso existe para resolver el problema de detectar datos similares, pero no idénticos, a otros datos. Los algoritmos de hashing difuso utilizan específicamente algoritmos en los que dos entradas similares generan dos valores hash similares. Esta propiedad es justo lo contrario del efecto avalancha deseado en las funciones hash criptográficas.

El hash difuso también se puede utilizar para detectar cuándo un objeto está contenido dentro de otro. ^{[ 1 ]}

Hay algunos enfoques utilizados para construir algoritmos de hash difuso: ^{[ 7 ] [ 5 ]}

• El hash por partes activado por contexto (CTPH) construye un hash dividiendo la entrada en múltiples partes, calculando hashes tradicionales para cada parte y luego combinando esos hashes tradicionales en una sola cadena. ^{[ 8 ]}
• El hash sensible a la localidad coloca elementos de entrada similares en los mismos "cubos", que pueden utilizarse para la agrupación de datos y las búsquedas del vecino más cercano .

• Spamsum es una herramienta creada por Andrew Tridgell que utiliza el hash difuso para determinar si un correo electrónico es similar a un correo no deseado conocido. Funciona generando un hash difuso para un correo electrónico y comparándolo con los hashes difusos de correos electrónicos no deseados conocidos para generar un resultado de coincidencia entre 0 (desajuste total) y 100 (coincidencia perfecta). Si el resultado de coincidencia es suficientemente alto, el correo electrónico se clasifica como spam. ^{[ 9 ] [ 10 ]}
• Nilsimsa Hash es unalgoritmo de hash sensible a la localidad , enfocado en la lucha contra el spam.
• ssdeep es una herramienta de hash difuso basada en hash por partes activado por contexto para comparar archivos. ^{[ 4 ]}
• sdhash es una herramienta de hash difuso basada en el uso de filtros de Bloom para determinar si un archivo está contenido dentro de otro o cuán similares son dos archivos entre sí. ^{[ 11 ]}
• TLSH es un esquema de hash sensible a la localidad para comparar si los archivos son similares entre sí. Se ha utilizado para la agrupación de malware. ^{[ 12 ]}
• Rspamd utiliza el hash difuso para detectar correos electrónicos no deseados, empleando el algoritmo shingles para este propósito. ^{[ 13 ] [ 14 ]}

• Suma de verificación §  Suma de verificación difusa