Existe-t-il un équivalent .NET d'Apache Hadoop ?

Question

Donc, j'ai regardé Hadoop avec un vif intérêt, et pour être honnête je suis fasciné, les choses ne peuvent pas être plus cool.

Mon seul petit problème est que je suis un développeur C# et qu'il est en Java.

Ce n'est pas que je ne comprenne pas le Java, mais je recherche plutôt Hadoop.net ou NHadoop ou le projet .NET qui adopte l'approche du Google MapReduce approche. Quelqu'un en connaît-il une ?

Answer 1

Avez-vous envisagé d'utiliser Le streaming d'Hadoop ?

Je l'utilise tout le temps en python :-).

Je commence à voir que l'approche hétérogène est souvent la meilleure et il semble que d'autres personnes fassent de même.

Si vous regardez des projets comme protocol-buffers ou facebook's thrift, vous verrez que parfois, il est préférable d'utiliser une application écrite dans un autre langage et de construire la colle dans le langage de votre choix.

Answer 2

Ver http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx o http://msdn.microsoft.com/en-us/library/dd179423.aspx

Answer 3

Récemment, MySpace a publié son cadre .NET MapReduce, Qizmt L'utilisation de l'Internet, en tant que source ouverte, est donc également un concurrent potentiel dans ce domaine.

Answer 4

J'ai répondu à votre question dans ma question aquí

Pour le dire ici dans la source :

Microsoft abandonné son alternative ( Dryad ) en faveur d'Hadoop. L'année prochaine, ils sortiront MS SQL Server 2012 avec l'intégration d'Hadoop. Le support d'Azure et de Windows Sever est en cours de développement au moment même où nous parlons.

Il sera disponible au cours du premier semestre 2012.

Hadoop est le numéro 1 BigData et sera soutenue par des sources ouvertes et propriétaires (Java, .Net, Python, ...), même Oracle l'adopte.

Si vous étiez en train de développer quelque chose, vous devriez attendre si vous êtes sur la plateforme .Net.

De plus amples informations sur ce qui est possible seront disponibles aquí

Answer 5

Je dirais que DryadLinq est ce qui se rapproche le plus d'Hadoop pour les utilisateurs de .NET. Mais cela dépend de ce que vous voulez faire avec Hadoop. Si vous recherchez un système de fichiers distribués (DFS) auto-entretenu et optimisé, alors DryadLINQ n'est pas ce que vous recherchez. Il a une analogie avec le DFS mais vous devez construire manuellement les partitions et distribuer chaque partition.

Ceci étant dit, si c'est l'aspect exécution distribuée de Hadoop que vous recherchez, DryadLINQ est vraiment merveilleux (et non, je ne suis pas affilié à MS). Tant que vous avez un Microsoft HPC L'installation du cluster que le démarrage avec DryadLINQ est vraiment facile.

Le code que vous écrivez est en fait du code LINQ pur, sauf qu'au lieu d'exécuter le LINQ sur IEnumerable<T> vous devez l'exécuter sur PartitionedTable<T> (la structure de données distribuée auto-construite).

Ce qui est vraiment bien avec DryadLINQ, c'est la rapidité avec laquelle les algorithmes sont développés (essayer, tester, ajuster, répéter). Il vous suffit d'écrire du code LINQ pour effectuer vos calculs et DryadLINQ s'occupe de toute la partie exécution distribuée. C'est l'analogie la plus naturelle que j'ai rencontrée qui rend l'écriture de code pour le traitement distribué tout comme l'écriture de code pour le traitement à processus unique.