Big Data & Fast Storage

La release 3.0 de Apache Hadoop que se ha hecho GA en Diciembre de 2017 trae funcionalidades muy interesantes. El resumen de las mismas es : Soporte para Erasure Coding (Reed-Solomon y XOR) lo que mejora sustancialmente el overhead de capacidad del factor de replicación en HDFS (un 300% con un factor de replicación de 3, que es lo que se suele utilizar por defecto, frente a un 150% del Reed-Solomon), aunque se sacrifica el rendimiento en situación de fallo de un nodo debido a las lecturas remotas que hay que hacer para reconstruir y el coste de CPU de la recomputación. Una buena opción para aquellos datos de mi DataLake mas “fríos” o que se accedan de manera menos frecuente. Optimizaciones en MapReduce que mejoran sustancialmente el rendimiento en jobs con mucha componente de operativa de shuffle (parece ser que Hadoop 3 puede ser hasta un 30% más rápido gracias a la implementación nativa en Java del recolector de salidas del map). Si ya la release 2 incorporaba HA transpar...

Al final de mi último post ya di algunas pistas de cual es la solución frente a la incorrecta aproximación en el diseño/arquitectura de sistemas de almacenamiento All-Flash con dispositivos de alta densidad. El primer paso a esta solución se dio ya hace algunos años, concretamente en el 2011, cuando se liberó la versión 1.0 de la especificación NVMe y que era en realidad la continuación en forma de mejora y soporte por parte de más de 90 compañías en la industria de la especificación NVMHCI que sacó INTEL en el año 2009. La última versión de la especificación NVMe, la 1.3c, es de mayo del 2018. Es decir, NVMe ya no es algo relativamente nuevo sino que tiene un desarrollo maduro y estable. Básicamente NVMe (Non-Volatile Memory Express) es un protocolo de alto rendimiento, elevado paralelismo y muy baja latencia que ha sido diseñado específicamente para la conexión de dispositivos de almacenamiento no-volátil  (dispositivos de estado sólido, medio flash y NVRAMs) a través del...