Entradas

Mostrando entradas de noviembre, 2018

Apache Spark 2.4: hacia la analítica de datos unificada

Imagen
Una de las complejidades en la aplicación de la Inteligencia Artificial a escala está en la disparidad de sistemas y tecnologías que se han de emplear e integrar, además de las divisiones organizativas que suelen aparecer entre los ingenieros de sistemas y los científicos de datos. Para eliminar obstáculos es necesario unificar los datos y la IA en lo que se conoce como Unified Analytics o analítica de datos unificada , uniendo de manera simplificada y nativa las tecnologías de Big Data para el procesamiento de datos con las tecnologías de inteligencia artificial. De esta manera es posible construir de manera más eficiente (tanto a nivel tecnológico como económico) potentes pipelines de datos que extraigan la información de distintas fuentes y que permitan la preparación de conjuntos de datos etiquetados para la generación de modelos de predicción o clasificación; y además poderlo hacer de manera iterativa re-alimentando o re-entrenando los modelos sobre conjuntos de datos ...

¿Qué es la Storage Class Memory o SCM?

Imagen
La tecnología de almacenamiento basada en estado sólido (almacenamiento flash) ha ayudado a mitigar muchos de los cuellos de botella presentes en los sistemas como consecuencia de las limitaciones de la capa de almacenamiento, que sigue siendo el eslabón más lento de la cadena de procesamiento de datos. Por otro lado, la memoria (almacenamiento no persistente) sigue superando significativamente a los componentes flash más rápidos de la actualidad, pero el problema es que las tecnologías de memoria principal (DRAM, etc.) solo pueden escalar hasta un cierto punto (hasta los pocos TB en los servidores más potentes) y además tienen un coste bastante elevado, prohibitivo en grandes capacidades. En paralelo, las nuevas necesidades en lo relativo al procesamiento analítico de los datos que están apareciendo en esta cuarta revolución industrial en la que nos encontramos han hecho que se incremente exponencialmente el uso de entornos de analíticas de datos de última generación (bases de datos...