Utilitaire Python pour surveiller le temps de fonctionnement du site web (y compris les ressources)

Question

J'aimerais faire fonctionner un utilitaire qui vérifierait périodiquement nos sites Web pour s'assurer qu'ils sont opérationnels. Python est l'environnement d'utilitaire rapide que je préfère.

Je sais que je peux envoyer un ping au serveur avec urllib2 ou autre, mais je veux vraiment tester que toutes les ressources sont là et disponibles (CSS, JS, images, etc). Un peu comme ce que fait un navigateur lorsqu'il charge une page - récupérer le HTML, puis les ressources nécessaires, et vérifier s'il y a des erreurs 400 ou 500.

Existe-t-il un moyen simple de faire cela en Python ? Je pourrais probablement utiliser une expression rationnelle pour essayer d'extraire les URL des ressources du code HTML, mais je ne veux pas m'inquiéter de savoir si je ne suis pas en train de faire une erreur. le faire mal .

Existe-t-il un outil ou une astuce qui fera le travail difficile, ou dois-je analyser le HTML moi-même ? Ou est-ce que je m'y prends mal ?

Answer 1

Pour le contrôle de la disponibilité, je recommanderais un service tiers tel que newrelic.com o site24x7.com .

Si vous voulez créer le vôtre (ce qui n'est pas si difficile si vous n'avez que des besoins de base), utilisez simplement un analyseur HTML et itérez sur le DOM pour demander vos ressources liées. N'utilisez pas de regex.