Comment lister tous les brokers Kafka disponibles dans un cluster ?

Question

Je suis en train d'écrire un shell script pour surveiller les brokers kafka.

J'ai parcouru quelques liens et j'ai trouvé que si ZooKeeper contient une liste de brokers, et si, dans cette liste, l'adresse IP est présente, alors un broker kafka est en cours d'exécution.

Je veux une commande que je peux utiliser dans mon shell script pour obtenir la liste des courtiers et vérifier si kafka est en cours d'exécution.

Existe-t-il des curl pour obtenir l'état du cluster kafka comme pour elasticsearch ?

Answer 1

Cette commande vous donnera la liste des courtiers actifs entre crochets :

./bin/zookeeper-shell.sh localhost:2181 ls /brokers/ids

Answer 2

Autre façon d'utiliser Zk-Client :

Si vous ne préférez pas passer d'arguments à ./zookeeper-shell.sh et que vous voulez voir les détails du broker à partir du CLI de Zookeeper, vous devez installer Zookeeper de manière autonome (car Kafka traditionnel n'est pas fourni avec le JAR de Jline).

Une fois que vous avez installé (décompressé) le Zookeeper autonome, alors.. :

• Exécutez l'interface de programmation de Zookeeper :
  $ zookeeper/bin/zkCli.sh -server localhost:2181 #Make sure your Broker is already running

• Si l'opération est réussie, le client Zk s'exécute sous la forme suivante :

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0]

• À partir de là, vous pouvez explorer les détails du courtier à l'aide de différentes commandes :

$ ls /brokers/ids # Gives the list of active brokers
$ ls /brokers/topics #Gives the list of topics
$ get /brokers/ids/0 #Gives more detailed information of the broker id '0'

Answer 3

echo dump | nc localhost 2181 | grep brokers

(remplacez localhost par l'hôte sur lequel zookeeper tourne)

Answer 4

Voici quelques fonctions rapides que j'utilise lorsque j'écris des scripts bash pour charger des données Kafka dans des environnements de démonstration. Dans cet exemple, j'utilise HDP sans sécurité, mais il est facilement modifiable pour d'autres environnements et est destiné à être rapide et fonctionnel plutôt que particulièrement robuste.

La première récupère l'adresse du premier noeud ZooKeeper dans la configuration :

ZKS1=$(cat /usr/hdp/current/zookeeper-client/conf/zoo.cfg | grep server.1)
[[ ${ZKS1} =~ server.1=(.*?):[0-9]*:[0-9]* ]]
export ZKADDR=${BASH_REMATCH[1]}:2181
echo "using ZooKeeper Server $ZKADDR"

Le second récupère les identifiants des courtiers auprès de ZooKeeper :

echo "Fetching list of Kafka Brokers"
export BROKERIDS=$(/usr/hdp/current/kafka-broker/bin/zookeeper-shell.sh ${ZKADDR} <<< 'ls /brokers/ids' | tail -1)
export BROKERIDS=${BROKERIDS//[!0-9 ]/}
echo "Found Kafka Broker IDS: $BROKERIDS"

Le troisième analyse à nouveau ZooKeeper pour récupérer la liste des courtiers Kafka Host:port prêts à être utilisés dans le client en ligne de commande :

unset BROKERS
for i in $BROKERIDS
do
DETAIL=$(/usr/hdp/current/kafka-broker/bin/zookeeper-shell.sh ${ZKADDR} <<< "get /brokers/ids/$i")
[[ $DETAIL =~ PLAINTEXT:\/\/(.*?)\"\] ]]
if [ -z ${BROKERS+x} ]; then BROKERS=${BASH_REMATCH[1]}; else 
BROKERS="${BROKERS},${BASH_REMATCH[1]}"; fi
done
echo "Found Brokerlist: $BROKERS"

Answer 5

Pour utiliser les commandes de zookeeper avec le shell script essayez

zookeeper/bin/zkCli.sh -server localhost:2181 << "ls /brokers/ids" | tail -n 1. La dernière ligne contient généralement les détails de la réponse