J'utilise VSTS 2008 + C# + .Net 3.5. Je veux trouver un outil (open source) qui crawle toutes les pages web d'un site web, et pour toutes les pages d'autres domaines qui sont liées à ce site web, je veux éviter de les crawler (je n'ai besoin que des pages de ce domaine spécifique). Pour les pages web explorées, je veux les stocker dans un répertoire de fichiers local.
Y a-t-il des échantillons ou un outil open source prêt à l'emploi ?