Comment télécharger tous les fichiers (mais pas le HTML) d'un site web en utilisant wget ?

Question

Mode d'emploi wget et récupérer tous les fichiers du site web ?

J'ai besoin de tous les fichiers sauf les fichiers de la page web comme HTML, PHP, ASP etc.

Answer 1

Pour filtrer des extensions de fichiers spécifiques :

wget -A pdf,jpg -m -p -E -k -K -np http://site/path/

Ou, si vous préférez les noms d'options longues :

wget --accept pdf,jpg --mirror --page-requisites --adjust-extension --convert-links --backup-converted --no-parent http://site/path/

Cela fera un miroir du site, mais les fichiers sans jpg ou pdf sera automatiquement supprimée.

Answer 2

Ceci a téléchargé le tout le site site web pour moi :

wget --no-clobber --convert-links --random-wait -r -p -E -e robots=off -U mozilla http://site/path/

Answer 3

wget -m -p -E -k -K -np http://site/path/

page de manuel vous dira ce que font ces options.

wget ne suivra que les liens, s'il n'y a pas de lien vers un fichier depuis la page d'index, alors wget ne connaîtront pas son existence et ne le téléchargeront donc pas. Par exemple, il est utile que tous les fichiers soient liés à des pages web ou à des index de répertoires.

Answer 4

J'essayais de télécharger des fichiers zip liés à La page des thèmes d'Omeka - tâche assez similaire. Cela a fonctionné pour moi :

wget -A zip -r -l 1 -nd http://omeka.org/add-ons/themes/

• -A : n'accepte que les fichiers zip
• -r : recurse
• -l 1 : un niveau de profondeur (c'est-à-dire, seulement les fichiers directement liés à cette page)
• -nd : ne créez pas de structure de répertoire, téléchargez simplement tous les fichiers dans ce répertoire.

Toutes les réponses avec -k , -K , -E etc n'ont probablement pas vraiment compris la question, car celles concernant la réécriture des pages HTML pour en faire une structure locale, le renommage de .php et ainsi de suite. Non pertinent.

Pour obtenir littéralement tous les fichiers sauf .html etc :

wget -R html,htm,php,asp,jsp,js,py,css -r -l 1 -nd http://yoursite.com

Answer 5

Vous pouvez essayer :

wget --user-agent=Mozilla --content-disposition --mirror --convert-links -E -K -p http://example.com/

Vous pouvez également ajouter :

-A pdf,ps,djvu,tex,doc,docx,xls,xlsx,gz,ppt,mp4,avi,zip,rar

pour accepter les extensions spécifiques, ou pour rejeter uniquement les extensions spécifiques :

-R html,htm,asp,php

ou pour exclure les zones spécifiques :

-X "search*,forum*"

Si les fichiers sont ignorés par les robots (par exemple, les moteurs de recherche), vous devez également ajouter : -e robots=off