J’utilise wget pour télécharger du contenu du site Web, mais wget télécharge les fichiers un par un.
Comment puis-je faire wget Télécharger en utilisant 4 connexions simultanées ?
Réponses
Trop de publicités?
gmarian
Points
742
kyungeui
Points
363
LifeH2O
Points
1588
J'ai trouvé (sans doute) une solution
Dans le processus de téléchargement de quelques milliers de fichiers journaux à partir d'un serveur pour le prochain j'ai subitement eu envie de faire un peu de sérieux multithread téléchargement en BSD, de préférence avec Wget, car c'est la façon la plus simple Je pourrais penser à de la manipulation. Un peu de recherche autour m'a conduit à cette petite pépite:
wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url]
Il suffit de répéter l'
wget -r -np -N [url]pour autant de threads que vous avez besoin... Maintenant, étant donné que ce n'est pas jolie et il y a sûrement de meilleures façons de faire mais si vous voulez quelque chose de rapide et sale, il devrait faire l'affaire...
Rodrigo Bustos L.
Points
49
Je suggère fortement d’utiliser httrack.
ex : httrack - v -w http://target.website.com/
Il va faire un miroir avec 8 connexions simultanées par défaut. HTTrack est un tonnes d’options où jouer. Jetez un oeil.
runejuhl
Points
121
Comme d'autres affiches ont mentionné, je vous suggère de vous avez un oeil à aria2. À partir d'Ubuntu en page de manuel pour la version 1.16.1:
aria2 est un utilitaire de téléchargement de fichiers. Pris en charge les protocoles HTTP(S), FTP, BitTorrent, et Metalink. aria2 pouvez télécharger un fichier à partir de plusieurs sources/protocoles et tente d'utiliser le maximum de votre bande passante de téléchargement. Il prend en charge le téléchargement d'un fichier à partir de l'adresse HTTP(S)/FTP et BitTorrent en même temps, tandis que les données téléchargées à partir de l'adresse HTTP(S)/FTP est téléchargé vers le BitTorrent essaim. À l'aide de Metalink du morceau de sommes de contrôle, aria2 valide automatiquement les blocs de données lors du téléchargement d'un fichier, comme BitTorrent.
Vous pouvez utiliser l' -x drapeau pour indiquer le nombre maximum de connexions par serveur (par défaut: 1):
aria2c -x 16 [url]
Si le même fichier est disponible à partir de plusieurs endroits, vous pouvez choisir de télécharger à partir de tous. Utiliser l' -j drapeau pour indiquer le nombre maximum de téléchargements en parallèle pour chaque statique URI (par défaut: 5).
aria2c -j 5 [url] [url2]
Jetez un oeil à http://aria2.sourceforge.net/ pour plus d'informations. Pour des informations d'utilisation, la page de man est vraiment descriptive et a une section sur le fond avec des exemples d'utilisation. Une version en ligne peut être trouvé à http://aria2.sourceforge.net/manual/en/html/README.html.
