D'après mes lectures sur Akka et mes premières utilisations, il me semble qu'Akka pourrait être utilisé, et plus simplement, qu'une configuration Hadoop pour certaines applications. Vous n'auriez pas HDFS à utiliser, mais vous pourriez écrire une application qui enverrait des morceaux de travail à différents "mappers" et dont les résultats seraient envoyés à un "reducer", et ce serait plus facile à mettre en place que Hadoop dans des VM ou sur du matériel, moins de services à mettre en place. Est-ce raisonnable ou ces deux technologies sont-elles utilisées pour des choses totalement différentes ?
Réponses
Trop de publicités?
sourcedelica
Points
12533
Oui, tout à fait raisonnable. Nous avons construit un système map-reduce à grande échelle (plus de 1000 travailleurs) en utilisant Akka 2.0. Akka 2.2+ est encore meilleur parce que vous pouvez utiliser la fonction clustering y téléguidage de la mort au lieu de devoir écrire cette fonctionnalité vous-même.
Ver ce poste pour avoir une idée de la façon dont ça pourrait fonctionner.
JasonG
Points
1767
Le cluster Akka est actuellement marqué comme expérimental, mais l'équipe Akka affirme qu'il est plus ou moins prêt pour le prime time et que des personnes l'utilisent en production. Je serais très prudent en allant dans cette direction et vous pourriez plutôt envisager d'utiliser hadoop ou zookeeper avec akka et zmq ou une file de messages pour une mise à l'échelle horizontale.
