DeepPeep

El rastreador ACHE se utiliza para recopilar enlaces y emplea una estrategia de aprendizaje que aumenta la tasa de recopilación de enlaces a medida que continúa la búsqueda. Lo que distingue al rastreador ACHE de otros rastreadores es que estos últimos son rastreadores especializados que recopilan páginas web con propiedades o palabras clave específicas. En cambio, el rastreador ACHE incluye un clasificador de páginas que le permite descartar las páginas irrelevantes de un dominio, así como un clasificador de enlaces que los clasifica según su relevancia para un tema. Como resultado, el rastreador ACHE descarga primero los enlaces web más relevantes y ahorra recursos al no descargar datos irrelevantes. ^{[ 15 ]}

Para eliminar aún más los enlaces y resultados de búsqueda irrelevantes, DeepPeep utiliza el marco de Identificación Jerárquica de Formularios (HIFI) , que clasifica los enlaces y resultados de búsqueda según la estructura y el contenido del sitio web. ^{[ 14 ]} A diferencia de otras formas de clasificación que se basan únicamente en las etiquetas del formulario web para su organización, HIFI utiliza tanto la estructura como el contenido del formulario web para la clasificación. Mediante estos dos clasificadores, HIFI organiza los formularios web de forma jerárquica, lo que clasifica la relevancia de un formulario web para la palabra clave objetivo. ^{[ 16 ]}

Cuando no hay un dominio de interés o el dominio especificado tiene múltiples tipos de definición, DeepPeep debe separar el formulario web y agruparlo en dominios similares. El motor de búsqueda utiliza la agrupación sensible al contexto para agrupar enlaces similares en el mismo dominio, modelando el formulario web en conjuntos de hipervínculos y utilizando su contexto para la comparación. A diferencia de otras técnicas que requieren una extracción de etiquetas compleja y un preprocesamiento manual de los formularios web, la agrupación sensible al contexto se realiza automáticamente y utiliza metadatos para gestionar formularios web con contenido extenso y múltiples atributos. ^{[ 14 ]}

DeepPeep extrae información adicional denominada metadatos de estas páginas, lo que permite una mejor clasificación de enlaces y bases de datos mediante LabelEx, un método para la descomposición y extracción automática de metadatos. Los metadatos son datos de enlaces web que proporcionan información sobre otros dominios. LabelEx identifica la correspondencia entre elementos y etiquetas y la utiliza para extraer metadatos con precisión, a diferencia de los métodos convencionales que empleaban reglas de extracción manuales específicas. ^{[ 14 ]}

Cuando aparecen los resultados de búsqueda después de que el usuario introduce su palabra clave, DeepPeep clasifica los enlaces según tres características: contenido del término, número de backlinks y PageRank . En primer lugar, el contenido del término se determina simplemente por el contenido del enlace web y su relevancia. Los backlinks son hipervínculos o enlaces que dirigen al usuario a otro sitio web. PageRank es la clasificación de los sitios web en los resultados de los motores de búsqueda y funciona contando la cantidad y la calidad de los enlaces a un sitio web para determinar su importancia. La información de PageRank y backlinks se obtiene de fuentes externas como Google , Yahoo y Bing . ^{[ 14 ]}