Frontera de rastreo

Una frontera de rastreo es una estructura de datos que se utiliza para almacenar URL aptas para rastreo y que respalda operaciones como agregar URL y seleccionar para rastreo. A veces se la puede considerar como una cola de prioridad . ^[1]

Una frontera de rastreo es uno de los componentes que conforman la arquitectura de un rastreador web. La frontera de rastreo contiene la lógica y las políticas que sigue un rastreador cuando visita sitios web. Esta actividad se conoce como rastreo.

Las políticas pueden incluir cosas como qué páginas se deben visitar a continuación, las prioridades de búsqueda de cada página y la frecuencia con la que se debe visitar la página. ^{[ cita requerida ]} La eficiencia de la frontera de rastreo es especialmente importante ya que una de las características de la Web que hacen que el rastreo web sea un desafío es que contiene un gran volumen de datos, que cambia constantemente. ^[2]

La lista inicial de URL contenidas en la frontera del rastreador se conoce como semillas. El rastreador web preguntará constantemente a la frontera qué páginas visitar. A medida que el rastreador visita cada una de esas páginas, informará a la frontera con la respuesta de cada página. El rastreador también actualizará la frontera del rastreador con cualquier hipervínculo nuevo contenido en esas páginas que ha visitado. Estos hipervínculos se agregan a la frontera y el rastreador visitará nuevas páginas web según las políticas de la frontera. ^[2] Este proceso continúa de forma recursiva hasta que se visitan todas las URL en la frontera de rastreo.

Las políticas que se utilizan para determinar qué páginas visitar se basan habitualmente en una puntuación. Esta puntuación se calcula normalmente a partir de una serie de atributos diferentes, como la actualidad de una página, la hora en que se actualizó la página y la relevancia del contenido con respecto a determinados términos.

El Frontier Manager es el componente que el rastreador web utilizará para comunicarse con el fronterizo de rastreo. La API fronteriza también se puede utilizar para comunicarse con el fronterizo de rastreo. ^[2]

Los middlewares fronterizos se ubican entre el administrador y el backend. El propósito de los middlewares es administrar la comunicación entre el frontend y el backend. Los middlewares son una forma ideal de agregar o extender funcionalidad adicional simplemente agregando código adicional. ^[3]

El componente backend contiene toda la lógica y las políticas que se utilizan en una búsqueda. La función del backend es identificar las páginas que se rastrearán. ^[3]