Almacenamiento de datos tradicional

El almacenamiento de datos tradicional existe desde hace muchos años. Fue diseñado para unificar los reportes de negocios internos en la era en la que el procesamiento por lotes y fuera de línea (offline) era lo normal y, por lo general, lo basaban en:

• Trabajos pesados de Extracción, Transformación y Carga o por sus siglas en inglés, ETL, por lotes para mover datos desde sistemas de origen.

• Uniones masivas de tablas grandes para unificar conjuntos de datos diferentes para consultas centralizadas.

• Vistas" estáticas para el consumo de conjuntos de datos específicos para departamentos diferentes.

El auge del almacén de datos en la nube, liderado por plataformas como Snowflake, BigQuery y Redshift, ayudó a modernizar el almacenamiento de datos al brindar escalabilidad, conveniencia y, lo más importante, flexibilidad y apertura a una clase muy importante de trabajo de datos. Sin embargo, una vez que los datos estaban disponibles en la nube, resultó tentador ir más allá del almacenamiento de datos, presentando los almacenes de datos en la nube como un enfoque "una talla para todos para todos los casos de uso", desde casos orientados para el usuario analizar datos hasta transformaciones del lado del servidor, paneles de control, observabilidad, aprendizaje automático, entre otros. Esto ha generado desafíos recurrentes de rendimiento, una experiencia de usuario degradada y costos significativos. Lo cual exige la necesidad de reevaluar la arquitectura de datos.