YaCy

YaCy (pronunciado “ya see”) es un motor de búsqueda distribuido gratuito basado en los principios delas redes peer-to-peer (P2P), creado por Michael Christen en 2003. ^{[ 4 ] [ 5 ]} El motor está escrito en Java y se distribuye en varios cientos de computadoras “YaCy-peer”, a septiembre de 2006. .

Cada nodo YaCy rastrea de forma independiente Internet , analiza e indexa las páginas web encontradas y almacena los resultados de la indexación en una base de datos común que se comparte con otros nodos YaCy mediante principios de igual a igual (peer-to-peer) . Este enfoque descentralizado garantiza la privacidad y elimina la necesidad de un servidor central. ^{[ 6 ]}

En comparación con los motores de búsqueda semidistribuidos, la red YaCy tiene una arquitectura distribuida. Todos los nodos YaCy son iguales y no existe un servidor central . Puede ejecutarse en modo de rastreo o como un servidor proxy local , indexando las páginas web visitadas por la persona que ejecuta YaCy en su ordenador. Se proporcionan varios mecanismos para proteger la privacidad del usuario. Las funciones de búsqueda se acceden mediante un servidor web local que proporciona un cuadro de búsqueda para introducir los términos de búsqueda y devuelve los resultados en un formato similar al de los motores de búsqueda más populares. ^{[ 7 ]}

El motor de búsqueda YaCy se basa en cuatro elementos: ^{[ 8 ]}

Rastreador ^{[ 9 ]}

Un robot de búsqueda que recorre páginas web , analizando su contenido. ^{[ 10 ]} : El rastreador es responsable de obtener páginas web de Internet. Cada nodo en la red YaCy puede rastrear e indexar sitios web. El proceso de rastreo implica:

• Descubrimiento : Encontrar nuevas páginas web para indexar siguiendo los enlaces.
• Obtención : Descarga del contenido de las páginas web.
• Análisis sintáctico : Extracción de información relevante, como texto, metadatos y enlaces, de las páginas descargadas.

Indexador

Crea un índice de palabras inverso (RWI), es decir, cada palabra del RWI tiene su lista de URL relevantes e información de clasificación. Las palabras se guardan como hashes de palabras. ^{[ 11 ]}

Interfaz de búsqueda y administración

Hecho como una interfaz web proporcionada por un servlet HTTP local con un motor de servlets. ^{[ 12 ]}

Almacenamiento de datos

Se utiliza para almacenar la base de datos del índice de palabras inversas utilizando una tabla hash distribuida .

• YaCy es un dispositivo de búsqueda completo con interfaz de usuario, índice, administración y monitorización.
• YaCy recopila páginas web mediante un rastreador web. Los documentos se analizan, se indexan y el índice de búsqueda se almacena localmente. Si su nodo forma parte de una red de nodos, su índice de búsqueda local también se integra al índice compartido de dicha red.
  • Se inicia una búsqueda y, a continuación, el índice local aporta información a un índice de búsqueda global procedente de otros participantes en la red de búsqueda de YaCy.
• YaCy Grid es una implementación de segunda generación del buscador peer-to-peer YaCy. Una instalación de YaCy Grid consta de microservicios que se comunican mediante el Programa de Conexión Maestra (MCP).
• El analizador YaCy es un microservicio que se puede implementar con Docker . Al iniciarse, el componente del analizador busca y se conecta a un MCP. Por defecto, busca un MCP en el host local, pero puede configurar uno usted mismo.

YaCy utiliza una combinación de técnicas para la creación de redes, la administración y el mantenimiento de la indexación del motor de búsqueda, incluyendo listas negras, moderación y comunicación con la comunidad. Así es como YaCy realiza estas operaciones:

• Componentes de la comunidad
  1. Foro web ^{[ 13 ]}
  2. Estadística
  3. API XML
• Mantenimiento
  1. Servidor web
  2. Indexación
  3. Oruga con equilibrador
  4. Comunicación entre servidores punto a punto
• Organización del contenido
  1. Listas negras y filtrado
  2. Interfaz de búsqueda
  3. Marcadores
  4. Seguimiento de los resultados de búsqueda

YaCy está disponible en paquetes para Linux, Windows y Macintosh, y también como imagen Docker; además, puede instalarse en otros sistemas operativos mediante compilación manual o utilizando un archivo tar . YaCy requiere Java 11; se recomienda Temurin 11. ^{[ 14 ]}

El paquete Debian se puede instalar desde un repositorio disponible en el subdominio del sitio web del proyecto, ^{[ 15 ] [ 16 ]} pero aún no se mantiene en el repositorio oficial de paquetes Debian. ^{[ 17 ]}

• Dooble : un navegador web de código abierto con un widget de herramienta de motor de búsqueda YaCy integrado.
• Lista de motores de búsqueda
• Comparación de motores de búsqueda
• Busca

YaCy en LinuxReviews

• Sitio web oficial