Ce qui est un bon moyen de collecter des journaux à partir des instances Amazon EC2?

Question

Mon application est hébergée sur un Amazon EC2 cluster. Chaque instance écrit des événements dans des fichiers journaux. J'ai besoin de recueillir (et les données de la mine au cours de ces journaux à la fin de chaque journée. Ce qui est une méthode recommandée pour la récupération de ces journaux dans un emplacement central? J'ai pensé à plusieurs options, vous ne savez pas où aller:

1. scp à une instance à l'aide d'une tâche cron
2. Tous les événements sur TCP/IP à une instance

Answer 1

Nous utilisons Logstash sur chaque hôte (déployée par l'intermédiaire de la Marionnette) afin de recueillir et de les expédier journal des événements à file d'attente de messages (RabbitMQ, mais pourrait être Redis) sur un hôte central. Un autre Logstash instance récupère les événements, les processus et l'enfourne le résultat dans ElasticSearch. Un Kibana interface web est utilisé pour la recherche par le biais de cette base de données.

Il est très capable, échelles facilement et est très flexible. Logstash a des tonnes de filtres pour traiter les événements de diverses données d'entrée et de sortie peut pour beaucoup de services, ElasticSearch est l'un d'eux. Nous expédions actuellement environ 1,2 million de journal d'événements par jour à partir de nos instances EC2, à la lumière de matériel. Le temps de latence pour un journal d'événement d'un événement à l'consultable est d'environ 1 seconde dans notre configuration.

Voici un peu de documentation sur ce type de configuration: http://www.logstash.net/docs/1.1.9/tutorials/getting-started-centralizedet une démo de la Kibana interface de recherche avec quelques données en direct.

Answer 2

J'ai été en utilisant Loggly et il semble faire l'affaire

http://loggly.com/

Il me permet d'envoyer tous mes journaux à travers le protocole tcp à leur service et ont une place centrale pour surveiller tous mes fichiers journaux,

Il me permet aussi d'archiver mes fichiers journaux de S3 qui est sympa aussi

Answer 3

Je n'ai pas essayé, mais Amazon semble vous recommandons d'utiliser SimpleDB:

http://aws.amazon.com/simpledb/usecases_logging/

Voici un package que vous pouvez trouver utile - il est dit que vous pouvez l'utiliser pour capturer la sortie standard stdout/stderr vers SimpleDB:

http://code.google.com/p/simpledb-appender/

Answer 4

Jetez un oeil à la version gratuite de Splunk - il prendra en charge la connexion à distance d'une collection de fichiers et aussi vous donner quelques vraiment agréable de recherche et des outils d'analyse.

Answer 5

L'utilisation de syslog-ng, un outil populaire qui transfère les messages de journal sur le protocole TCP, éventuellement crypté.

http://www.balabit.com/network-security/syslog-ng/