Trampa para arañas

Una trampa para rastreadores web (o arañas web ) es un conjunto de páginas web que, intencionalmente o no, pueden usarse para provocar que un rastreador web o un bot de búsqueda realice un número infinito de solicitudes o para causar el bloqueo de un rastreador mal diseñado. Los rastreadores web también se denominan arañas web , de donde proviene el nombre. Las trampas para rastreadores web pueden crearse para "atrapar" bots de spam u otros rastreadores que consumen en exceso el ancho de banda de un sitio web. También pueden crearse involuntariamente por calendarios que utilizan páginas dinámicas con enlaces que apuntan continuamente al día o año siguiente.

Entre las técnicas más utilizadas se incluyen:

• Creación de estructuras de directorios de profundidad indefinida, como por ejemplo:http://example.com/abc/def/abc/def/abc/def/abc/...
• Páginas dinámicas que producen un número ilimitado de documentos para que un rastreador web los siga. Algunos ejemplos son los calendarios ^{[ 1 ]} y la poesía en lenguaje generado algorítmicamente ^{[ 2 ]} .
• Los documentos con muchos caracteres provocan que el analizador léxico que procesa el documento falle.
• Documentos con identificadores de sesión basados ​​en cookies obligatorias.

No existe ningún algoritmo universal capaz de detectar todas las trampas para arañas. Si bien ciertas categorías de trampas pueden identificarse mediante métodos automatizados, siguen apareciendo rápidamente trampas nuevas y hasta ahora desconocidas.

Una trampa para arañas provoca que un rastreador web entre en algo parecido a un bucle infinito , ^{[ 3 ]} lo que desperdicia los recursos de la araña, ^{[ 4 ]} reduce su productividad y, en el caso de un rastreador mal programado, puede provocar que el programa falle. Las arañas educadas alternan las solicitudes entre diferentes hosts y no solicitan documentos del mismo servidor más de una vez cada pocos segundos, ^{[ 5 ]} lo que significa que un rastreador web "educado" se ve afectado en mucha menor medida que un rastreador "descortés".

Además, los sitios con trampas para arañas suelen tener un archivo robots.txt que les indica a los bots que no vayan a la trampa, por lo que un bot legítimo y "educado" no caería en ella, mientras que un bot "descortés" que ignore la configuración de robots.txt se vería afectado por la trampa. ^{[ 6 ]}

• Estándar de exclusión de robots
• Rastreador web