Est-il possible de trouver toutes les pages et tous les liens de N'IMPORTE QUEL site web ? Je voudrais entrer une URL et produire un arbre de répertoire de tous les liens de ce site ?
J'ai regardé HTTrack mais cela télécharge l'ensemble du site et j'ai simplement besoin de l'arborescence des répertoires.
Vérifiez linkchecker -il va explorer le site (tout en obéissant à robots.txt ) et générer un rapport. A partir de là, vous pouvez script mettre en place une solution pour créer l'arborescence du répertoire.
Comment puis-je le faire moi-même ? Et que faire s'il n'y a pas de fichier robots.txt dans un site web ?
S'il s'agit d'une question de programmation, je vous suggère d'écrire votre propre expression régulière pour analyser tout le contenu récupéré. Les balises cibles sont IMG et A pour le HTML standard. Pour JAVA,
final String openingTags = "(<a [^>]*href=['\"]?|<img[^> ]* src=['\"]?)";ce qui, avec les classes Pattern et Matcher, devrait permettre de détecter le début des balises. Ajoutez la balise LINK si vous voulez aussi du CSS.
Toutefois, ce n'est pas aussi facile que vous l'avez peut-être pensé au départ. De nombreuses pages Web ne sont pas bien formées. L'extraction programmatique de tous les liens qu'un être humain peut "reconnaître" est vraiment difficile si vous devez tenir compte de toutes les expressions irrégulières.
Bonne chance !
Sur un Mac, http://peacockmedia.co.uk/integrity/ a plutôt bien fonctionné pour moi.
Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.
2 votes
Crawlmysite.in - site non existant