Extracción de datos de motores de búsqueda

El web scraping se refiere a la extracción automatizada de URL , descripciones y otros datos de los resultados de los motores de búsqueda . Es una rama especializada del web scraping centrada exclusivamente en el contenido de los motores de búsqueda.

Por lo general, los proveedores de optimización de motores de búsqueda (SEO) de mayor tamaño dependen de la extracción periódica de palabras clave de los motores de búsqueda para monitorear la posición competitiva de los sitios web de sus clientes en cuanto a palabras clave relevantes o su estado de indexación .

El proceso de acceder a un sitio web y extraer datos de forma automatizada también se conoce como " rastreo ". Los motores de búsqueda obtienen casi todos sus datos de robots de rastreo automatizados.

Google es, con diferencia, el motor de búsqueda más grande, con el mayor número de usuarios y los mayores ingresos por publicidad creativa, lo que lo convierte en el motor de búsqueda más importante para que las empresas relacionadas con el SEO realicen el rastreo de datos. ^{[ 1 ]}

Aunque Google no emprende acciones legales contra el scraping, utiliza una serie de métodos de defensa que hacen que extraer sus resultados sea una tarea difícil, incluso cuando la herramienta de scraping está suplantando de forma realista un navegador web normal :

• Google utiliza un complejo sistema de limitación de la tasa de solicitudes, que puede variar según el idioma, el país, el agente de usuario y las palabras clave o parámetros de búsqueda. Esta limitación puede generar imprevisibilidad al acceder a un motor de búsqueda automatizado, ya que los patrones de comportamiento son desconocidos para desarrolladores y usuarios externos.
• Las limitaciones de red y de IP también forman parte de los sistemas de defensa contra el web scraping. Los motores de búsqueda no se dejan engañar fácilmente cambiando de IP, mientras que el uso de proxies es fundamental para un web scraping exitoso. La diversidad y el historial de abuso de una IP también son factores importantes.
• Las direcciones IP y redes IP infractoras pueden almacenarse fácilmente en una lista negra para detectar a los infractores con mayor rapidez. El hecho de que la mayoría de los proveedores de servicios de Internet (ISP) asignen direcciones IP dinámicas a sus clientes exige que estos bloqueos automáticos sean temporales y no impidan el acceso a usuarios inocentes.
• La detección basada en el comportamiento es el sistema de defensa más difícil. Los motores de búsqueda ofrecen sus páginas a millones de usuarios cada día, lo que proporciona una gran cantidad de información sobre su comportamiento. Un script o bot de extracción de datos no se comporta como un usuario real; además de tener tiempos de acceso, retrasos y duraciones de sesión atípicos, las palabras clave extraídas pueden estar relacionadas entre sí o incluir parámetros inusuales. Google, por ejemplo, cuenta con un sistema de análisis de comportamiento muy sofisticado, que posiblemente utiliza software de aprendizaje profundo para detectar patrones de acceso inusuales. Puede detectar actividad inusual mucho más rápido que otros motores de búsqueda. ^{[ 2 ]}
• Los cambios en el marcado HTML , dependiendo de los métodos utilizados para extraer el contenido de un sitio web, pueden provocar que incluso un pequeño cambio en los datos HTML deje de funcionar una herramienta de extracción hasta que se actualice.
• Cambios generales en los sistemas de detección. En los últimos años, los motores de búsqueda han endurecido sus sistemas de detección casi mes a mes, lo que dificulta cada vez más el web scraping fiable, ya que los desarrolladores necesitan experimentar y adaptar su código con regularidad. ^{[ 3 ]}

Cuando el sistema de defensa de los motores de búsqueda cree que un acceso podría estar automatizado, el motor de búsqueda puede reaccionar de forma diferente.

La primera capa de defensa es una página de captcha ^{[ 4 ]} donde se le pide al usuario que verifique que es una persona real y no un bot o una herramienta. Resolver el captcha crea una cookie que permite el acceso al motor de búsqueda nuevamente durante un tiempo. Después de aproximadamente un día, la página de captcha se muestra de nuevo.

La segunda capa de defensa consiste en una página de error similar, pero sin captcha. En tal caso, el usuario queda completamente bloqueado y no puede utilizar el motor de búsqueda hasta que se levante el bloqueo temporal o cambie su dirección IP.

La tercera capa de defensa consiste en el bloqueo a largo plazo de todo el segmento de red . Google ha bloqueado grandes segmentos de red durante meses. Este tipo de bloqueo suele ser activado por un administrador y solo se produce si una herramienta de extracción de datos envía un número muy elevado de solicitudes.

Todas estas formas de detección también pueden ocurrirle a un usuario normal, especialmente a usuarios que comparten la misma dirección IP o clase de red (rangos IPv4, así como rangos IPv6 ).

Para extraer datos de un motor de búsqueda con éxito, los dos factores principales son el tiempo y la cantidad.

Cuantas más palabras clave necesite extraer un usuario y menor sea el tiempo disponible para la tarea, más difícil será la extracción y más desarrollado deberá ser el script o la herramienta de extracción.

Los scripts de web scraping deben superar algunos desafíos técnicos. ^{[ 5 ]}

• Utilizar la rotación de IP con proxies. Estos proxies deben ser exclusivos (no compartidos) y no estar incluidos en ninguna lista negra.
• Una gestión adecuada del tiempo, el intervalo entre cambios de palabras clave, la paginación y los retrasos correctamente ubicados son cruciales para lograr tasas de extracción efectivas a largo plazo, que pueden variar desde solo 3 a 5 solicitudes (palabras clave o páginas) por hora hasta 100 o más por hora para cada dirección IP o proxy en uso. La calidad de las IP, los métodos de extracción, las palabras clave solicitadas y el idioma/país solicitado pueden afectar significativamente la tasa máxima posible.
• Manejo correcto de parámetros URL, cookies y encabezados HTTP para emular a un usuario con un navegador típico.
• Análisis del DOM de HTML (extracción de URL, descripciones, posición en el ranking, enlaces de sitio y otros datos relevantes del código HTML)
• Manejo de errores, reacción automatizada en páginas de captcha o bloqueadas y otras respuestas inusuales.

Al desarrollar un programa para extraer datos de un motor de búsqueda, se puede utilizar prácticamente cualquier lenguaje de programación. Sin embargo, dependiendo de los requisitos de rendimiento, algunos lenguajes serán más adecuados.

PHP es un lenguaje comúnmente utilizado para escribir scripts de web scraping para sitios web o servicios backend, ya que cuenta con potentes funcionalidades integradas (analizadores DOM, libcURL). Ruby on Rails y Python también se utilizan con frecuencia para automatizar tareas de web scraping.

Además, se puede utilizar la programación en bash junto con cURL como herramienta de línea de comandos para extraer información de un motor de búsqueda.

Al extraer datos de sitios web y servicios, el aspecto legal suele ser una gran preocupación para las empresas. En el caso del web scraping, depende en gran medida del país de origen del usuario o la empresa que realiza la extracción, así como de los datos o el sitio web que se estén extrayendo. Existen numerosas sentencias judiciales diferentes en todo el mundo. ^{[ 6 ] [ 7 ]}

Sin embargo, cuando se trata de extraer información de los motores de búsqueda, la situación es diferente; los motores de búsqueda generalmente no incluyen la propiedad intelectual en sus listados, ya que simplemente repiten o resumen la información que han extraído de otros sitios web.

El incidente público más grande conocido de un motor de búsqueda fue raspado ocurrió en 2011 cuando Microsoft fue sorprendida extrayendo palabras clave desconocidas de Google para su propio servicio Bing, bastante nuevo, ^{[ 8 ]} pero incluso este incidente no resultó en un caso judicial.

• Comparación de analizadores HTML