Wget

Wget se diseñó para ofrecer un rendimiento óptimo incluso con conexiones de red lentas o inestables. Si una descarga no se completa debido a un problema de red , Wget intentará automáticamente reanudarla desde donde se interrumpió y repetirá este proceso hasta que se haya descargado el archivo completo. Fue uno de los primeros clientes en utilizar el entonces novedoso Rangeencabezado HTTP para implementar esta función.

Wget puede funcionar opcionalmente como un rastreador web , extrayendo los recursos enlazados desde las páginas HTML y descargándolos secuencialmente. El proceso se repite recursivamente hasta que se hayan descargado todas las páginas o se haya alcanzado la profundidad máxima de recursión especificada por el usuario. Las páginas descargadas se guardan en una estructura de directorios similar a la del servidor remoto. Esta "descarga recursiva" permite la replicación parcial o completa de sitios web a través de HTTP. Los enlaces en las páginas HTML descargadas se pueden modificar para que apunten al material descargado localmente para su visualización sin conexión . Al realizar este tipo de replicación automática de sitios web, Wget es compatible con el Estándar de Exclusión de Robots (a menos que se utilice la opción correspondiente ).-e robots=off

La descarga recursiva también funciona con FTPLIST , donde Wget ejecuta el comando para encontrar qué archivos adicionales descargar, repitiendo este proceso para los directorios y archivos dentro del especificado en la URL principal. Se admiten comodines similares a los de la línea de comandos cuando se solicita la descarga de URL FTP.

Al descargar recursivamente a través de HTTP o FTP , se puede configurar Wget para que inspeccione las marcas de tiempo de los archivos locales y remotos, y descargue solo los archivos remotos más recientes que los locales correspondientes. Esto facilita la replicación de sitios HTTP y FTP , pero se considera ineficiente y más propenso a errores en comparación con programas diseñados específicamente para la replicación, como rsync . Por otro lado, Wget no requiere software especial del lado del servidor para esta tarea.

Wget es no interactivo en el sentido de que, una vez iniciado, no requiere interacción del usuario ni necesita controlar una terminal , pudiendo registrar su progreso en un archivo aparte para su posterior revisión. Los usuarios pueden iniciar Wget y cerrar sesión , dejando el programa desatendido. Por el contrario, la mayoría de los navegadores web con interfaz gráfica o de texto requieren que el usuario permanezca conectado y reinicie manualmente las descargas fallidas, lo que puede ser un gran inconveniente al transferir grandes cantidades de datos.

Escrito en un estilo de C altamente portable con mínimas dependencias de bibliotecas de terceros, Wget requiere poco más que un compilador de C y una interfaz de red TCP/IP similar a la de BSD . Diseñado como un programa Unix invocado desde la consola de Unix , el programa se ha portado a numerosos entornos y sistemas similares a Unix, incluyendo Microsoft Windows a través de Cygwin y macOS . También está disponible como programa nativo de Microsoft Windows como uno de los paquetes de GnuWin .

• Wget admite descargas a través de proxies , que se utilizan ampliamente para proporcionar acceso web dentro de los cortafuegos de las empresas y para almacenar en caché y entregar rápidamente el contenido al que se accede con frecuencia.
• Utiliza conexiones persistentes HTTP cuando están disponibles.
• IPv6 es compatible con sistemas que incluyen las interfaces adecuadas.
• Se admite SSL/TLS para descargas cifradas mediante la biblioteca OpenSSL o GnuTLS .
• Los archivos de más de 2 GiB son compatibles con sistemas de 32 bits que incluyan las interfaces adecuadas.
• La velocidad de descarga puede verse limitada para evitar el consumo de todo el ancho de banda disponible .
• Puede guardar su salida en el formato WARC , estándar de archivado web , eliminando duplicados de un archivo CDX asociado según sea necesario. ^{[ 3 ]}

GNU Wget se distribuye bajo los términos de la Licencia Pública General de GNU , versión 3 o posterior, con una excepción especial que permite la distribución de binarios enlazados con la biblioteca OpenSSL . El texto de la excepción es el siguiente: ^{[ 2 ]}

Permiso adicional bajo la sección 7 de la versión 3 de la GNU GPL

Si modifica este programa, o cualquier obra protegida, mediante su vinculación o combinación con la biblioteca OpenSSL del proyecto OpenSSL (o una versión modificada de dicha biblioteca), que contenga partes cubiertas por los términos de las licencias OpenSSL o SSLeay, la Free Software Foundation le otorga permiso adicional para distribuir la obra resultante. El código fuente correspondiente para una versión no oficial de dicha combinación deberá incluir el código fuente de las partes de OpenSSL utilizadas, así como el de la obra protegida.

Se prevé que la cláusula de excepción se elimine una vez que se modifique Wget para que también se enlace con la biblioteca GnuTLS .

La documentación de Wget , en forma de manual de referencia de Texinfo , se distribuye bajo los términos de la Licencia de Documentación Libre de GNU , versión 1.2 o posterior. La página de manual que se suele distribuir en sistemas tipo Unix se genera automáticamente a partir de un subconjunto del manual de Texinfo y se rige por los mismos términos de la licencia.

El método preferido para contribuir al código y la documentación de Wget es mediante actualizaciones de código fuente en forma de parches de texto generados por la utilidad diff . Los parches destinados a ser incluidos en Wget se envían a la lista de correo ^{[ 7 ]} , donde son revisados ​​por los responsables del proyecto. Los parches que superan la revisión de los responsables se instalan en el código fuente. Las instrucciones para la creación de parches, así como las directrices de estilo, se describen en la wiki del proyecto. ^{[ 8 ]}

El código fuente también se puede rastrear a través de un repositorio de control de versiones remoto que aloja el historial de revisiones desde la versión 1.5.3. El repositorio actualmente ejecuta Git . ^{[ 9 ]} Anteriormente, el código fuente se había alojado en (en orden inverso): Bazaar , ^{[ 10 ]} Mercurial , Subversion y a través de CVS .

Las siguientes versiones representan hitos importantes en el desarrollo de Wget. Las características que aparecen junto a cada versión se han editado para mayor brevedad y no constituyen información completa sobre la misma, la cual está disponible en el archivo NEWS distribuido con Wget. ^{[ 4 ]}

• Geturl 1.0, publicado en enero de 1996, fue la primera versión disponible públicamente. El primer anuncio en inglés se remonta a una publicación de noticias en Usenet, que probablemente se refiere a Geturl 1.3.4, publicado en junio. ^{[ 11 ]}
• Wget 1.4.0, publicado en noviembre de 1996, fue la primera versión en usar el nombre Wget . También fue la primera versión distribuida bajo los términos de la GNU GPL , ya que Geturl se distribuyó bajo una licencia ad hoc sin garantía .
• Wget 1.4.3, publicado en febrero de 1997, fue la primera versión lanzada como parte del proyecto GNU con los derechos de autor asignados a la FSF .
• Wget 1.5.3, lanzado en septiembre de 1998, marcó un hito en la popularidad del programa. Esta versión se incluyó en muchas distribuciones basadas en Linux , lo que permitió que el programa llegara a un público mucho más amplio.
• Wget 1.6, lanzado en diciembre de 1999, incorporó muchas correcciones de errores para la versión 1.5.3 (que para entonces ya estaba desactualizada), en gran parte gracias al esfuerzo de Dan Harkless.
• Wget 1.7, lanzado en junio de 2001, introdujo la compatibilidad con SSL , las cookies y las conexiones persistentes .
• Wget 1.8, lanzado en diciembre de 2001, añadió limitación de ancho de banda , nuevos indicadores de progreso y el recorrido en amplitud del gráfico de hipervínculos .
• Wget 1.9, lanzado en octubre de 2003, incluía soporte experimental para IPv6 y la capacidad de enviar datos mediante POST a servidores HTTP.
• Wget 1.10, lanzado en junio de 2005, introdujo soporte para archivos grandes , soporte para IPv6 en sistemas de doble familia, autorización NTLM y mejoras en SSL . Mauro Tortonesi asumió el mantenimiento del proyecto.
• Wget 1.11, lanzado en enero de 2008, adoptó la versión 3 de la Licencia Pública General de GNU y añadió soporte preliminar para el Content-Dispositionencabezado, que suelen usar los scripts CGI para indicar el nombre de un archivo que se va a descargar. También se realizaron mejoras de seguridad en el código de autenticación HTTP. Micah Cowan asumió el mantenimiento del proyecto.
• Wget 1.12, lanzado en septiembre de 2009, añadió compatibilidad para analizar URL a partir de contenido CSS en la web y para gestionar identificadores de recursos internacionalizados (IRI) .
• Wget 1.13, lanzado en agosto de 2011, admite HTTP/1.1, corrigió algunos problemas de portabilidad y utilizó la biblioteca GnuTLS por defecto para conexiones seguras. ^{[ 12 ]}
• Wget 1.14, lanzado en agosto de 2012, mejoró la compatibilidad con TLS y añadió compatibilidad con la autenticación de acceso Digest RFC 2617 . 
• Wget 1.15, lanzado en enero de 2014, añadió --https-onlysoporte para Perfect-ForwardSecrecy.
• Wget 1.16, lanzado en octubre de 2014, cambió la salida predeterminada de la barra de progreso, cerró la vulnerabilidad CVE - 2014-4877 , agregó soporte para libpsl para verificar dominios de cookies e introdujo —start-pos para permitir iniciar descargas desde una posición específica.
• Wget 1.17, lanzado en noviembre de 2015, eliminó la opción de conversión pasiva a activa de FTP debido a preocupaciones de privacidad, y agregó soporte para FTPS y para --if-modified-since.
• Wget 1.18, lanzado en junio de 2016, resolvió el problema CVE - 2016-4971 y agregó las opciones y .--bind-dns-address--dns-servers
• Wget 1.19, lanzado en febrero de 2017, añadió nuevas opciones para procesar un archivo Metalink; la versión 1.19.1 añadió la --retry-on-http-erroropción de reintentar una descarga si el servidor web responde con un código de estado HTTP determinado.
• Wget 1.20, lanzado en noviembre de 2018, añadió --retry-on-host-errormayor fiabilidad y --accept-regexopciones --reject-regexpara recuperaciones FTP recursivas.

GWget es una interfaz gráfica de usuario de software libre para Wget. Fue desarrollada por David Sedeño Fernández basándose en el entorno de software GNOME . GWget admite todas las funciones principales de Wget, así como descargas paralelas. ^{[ 16 ]}

Cliget es un descargador de complementos de Firefox de código abierto que utiliza Curl , Wget y Aria2. Fue desarrollado por Zaid Abdulla. ^{[ 17 ] [ 18 ] [ 19 ]}