Stockage clé-valeur sur disque Java

Question

Existe-t-il une implémentation Java efficace d'un système de stockage clé-valeur basé sur un système de fichiers avec les caractéristiques suivantes :

1. Stocker, écraser et récupérer des tableaux d'octets à l'aide d'un identifiant unique (qui peut être attribué par le système de stockage).
2. Pas de mise en cache de la mémoire (lecture signifie lecture à partir du système de fichiers, écriture signifie écriture immédiate dans le système de fichiers).
3. Taille totale des données jusqu'à quelques téraoctets
4. Nombre d'objets stockés jusqu'à des centaines de millions
5. Nombre gérable d'objets du système de fichiers (pour déplacer/copier/supprimer l'ensemble du stockage au niveau du système de fichiers)

Berkeley DB JE fera-t-il l'affaire ?

Answer 1

Formatez simplement une partition dédiée avec le système de fichiers de votre choix ? Le système de fichiers répondrait aux exigences 1 à 4, et l'exigence 5 peut être satisfaite en déplaçant/copiant ou en supprimant cette partition.

Answer 2

Je propose MapDB MapDB fournit des cartes, des ensembles et des files d'attente simultanés, soutenus par un stockage sur disque ou une mémoire hors tas. Léger et piratable.

Answer 3

Cela peut fonctionner. On dirait que c'est votre cas. Je suppose que cela vaut la peine d'y jeter un coup d'œil.

http://xtreemfs.blogspot.com/2008/11/babudb-efficient-key-value-store-for.html

Voici également une présentation de cette chose avec des détails sur son fonctionnement :

http://www.xtreemfs.org/slides/BabuDB-SNAPI.pdf

Answer 4

Peut-être HBase, mais il faudrait alors utiliser l'ensemble de la pile Hadoop, ce qui pourrait s'avérer excessif ! http://hbase.apache.org/