Un benchmark pour comparer les bases de données NoSQL

Un étudiant belge a eu l'idée de créer une analyse comparée des principales bases de données NoSQL (Not-only SQL), pour mesurer leurs performances. Il a réalisé ce travail dans le cadre d'un mémoire universitaire. Les conclusions avaient été présentées au début du mois, selon le blog américain ReadWriteWeb, mais les benchmarks viennent d'être distribués en open-source pour expliquer ses mesures.

Les bases de données comparées sont Cassandra 0.6.10 (la base NoSQL développée et utilisée par Facebook, puis maintenue par Apache), HBase 0.20.6, MongoDB 1.6.5 et Riak 0.14. Thibault Dory, l'étudiant à l'origine du rapport, a téléchargé 20 000 pages de Wikipédia, toutes au format XML et avec un identifiant unique. Au total, les fichiers représentaient 620 Mo de données.

Il en ressort notamment :

• En lecture, Cassandra et MongoDB sont au coude à coude, dépassant Riak et très largement HBase, qui gère moins bien la montée en charge.


• Les performances de MapReduce sont stables en fonction de la taille de cluster sur Cassandra. MongoDB et Riak gèrent assez bien la montée en charge, mais ont des performances plus faibles à petit volume que la base de données de Facebook. HBase, là encore, montre ses difficultés à gérer la montée en charge.

L'étudiant compte parfaire ses tests, notamment en les testant à d'autres bases de données. Il cite entre autres Terrastore, Voldemort et Scalaris. Il souhaite également augmenter le volume de données à traiter pour donner une portée plus générale à ses résultats.



Dans un billet de blog, Thibault Dory rappelle que les benchmarks ne sont peut-être pas parfaits. « Je voudrais dire que toute cette démarche de benchmarking est une idée qui est encore récente, et que je travaille encore dessus. Cela signifie qu'il peut y avoir des bugs dans mon code, des erreurs dans ma configuration des différents clusters, et d'autres types de problème. » Et comme l'ouverture de son code est dans ses cas-là la meilleure solution pour avoir un retour d'autres utilisateurs, Thibault Dory a distribué en open-source ses benchmarks sur la une de son site.