Hispanopedia WikiBotSeer era un sistema de información basado en la Web y una herramienta de búsqueda utilizada para la investigación sobre robots web y tendencias en la implementación y adhesión al Protocolo de Exclusión de Robots . Fue creado y diseñado por Yang Sun, [1] Isaac G. Councill, [2] Ziming Zhuang [3] y C. Lee Giles . BotSeer estuvo en funcionamiento desde 2007 hasta 2010, aproximadamente.
Historia
BotSeer sirvió como recurso para estudiar la regulación y el comportamiento de los robots web, así como para brindar información sobre la creación de archivos robots.txt eficaces e implementaciones de rastreadores. Estaba disponible públicamente en la World Wide Web en la Facultad de Ciencias de la Información y Tecnología de la Universidad Estatal de Pensilvania .
BotSeer ofrecía servicios que incluían búsquedas en robots.txt, análisis de sesgos de robots [4] [5] y análisis de registros generados por robots. El prototipo de BotSeer también permitía a los usuarios buscar 6000 archivos de documentación y códigos fuente de 18 proyectos de rastreo de código abierto.
BotSeer había indexado y analizado 2,2 millones de archivos robots.txt obtenidos de 13,2 millones de sitios web, así como un gran registro de servidor web sobre el comportamiento de robots en el mundo real y el análisis relacionado. Los objetivos de BotSeer eran ayudar a investigadores, webmasters, desarrolladores de rastreadores web y otros con las necesidades de investigación e información relacionadas con los robots web. Sin embargo, algunas personas recibieron a BotSeer de forma negativa, argumentando que contradecía el propósito de la convención robots.txt. [6]
BotSeer también había configurado un honeypot [7] para probar la ética, el rendimiento y el comportamiento de los rastreadores web .
Referencias
- "Los webmasters pueden influir en los resultados de búsqueda". Newsvine. Associated Press. 28 de noviembre de 2007. Consultado el 11 de diciembre de 2011 .
- "Google, el favorito de los administradores web". Network World. 15 de noviembre de 2007. Archivado desde el original el 18 de diciembre de 2007. Consultado el 19 de diciembre de 2007 .
Notas
- ^ "Yang Sun". Archivado desde el original el 4 de enero de 2014. Consultado el 13 de junio de 2019 .
- ^ Isaac G. Councill Archivado el 17 de mayo de 2014 en Wayback Machine.
- ^ Ziming Zhuang Archivado el 28 de diciembre de 2007 en Wayback Machine.
- ^ Yang Sun, Z. Zhuang, I. Councill, CL Giles, Determinación del sesgo en los motores de búsqueda a partir de Robots.txt Archivado el 2 de abril de 2015 en Wayback Machine , Actas de la Conferencia internacional IEEE/WIC/ACM sobre inteligencia web (WI 2007) , 149-155, 2007.
- ^ "Zoom Web Media ofrece servicios de diseño, desarrollo y optimización de motores de búsqueda (SEO) a precios asequibles". www.zoomwebmedia.com . Archivado desde el original el 30 de noviembre de 2012.
- ^ BotSeer? - Foros de motores de búsqueda sobre mejores prácticas de SEO
- ^ Prueba de comportamiento y rendimiento de robots web en Wayback Machine (archivada el 22 de diciembre de 2008) (en lugar del sitio actual no relacionado)
Enlaces externos
- "BotSeer: Robots.txt y motor de búsqueda de robots web". Archivado desde el original el 8 de febrero de 2010. Consultado el 11 de diciembre de 2011 .
