El verano de SQL: una serie de preguntas y respuestas con Joe Hellerstein
SQL volvió con fuerza este verano, tras un período en el que parecía haber perdido protagonismo.
Para averiguar por qué regresó y qué nos perdimos, le hicimos una serie de preguntas a Joe Hellerstein, Computer Science Professor de la Universidad de California, Berkeley y Co-founder de Trifacta.
En esta serie, descubre por qué SQL está de vuelta, cómo se ve la ingeniería de datos moderna en la nube con la aceleración de los almacenes de datos en la nube y por qué el enfoque ETL está dando paso a ELT.
Resumen de SQL: por qué regresó
Durante las primeras décadas del milenio, el enfoque centrado en Java parecía ser la “última novedad”, pero SQL regresó con fuerza. Hoy en día, SQL parece ser el centro de atención en todas las conversaciones de ingeniería de datos, e incluso está volviendo a aparecer en los carteles publicitarios en Silicon Valley.
La inevitable comparación entre ambos nos plantea la siguiente pregunta: ¿cuál es mejor? Hay ventajas y desventajas de enfatizar uno u otro.
Resumen de SQL: por qué regresó
Durante las primeras décadas del milenio, el enfoque centrado en Java parecía ser la “última novedad”, pero SQL regresó con fuerza. Hoy en día, SQL parece ser el centro de atención en todas las conversaciones de ingeniería de datos, e incluso está volviendo a aparecer en los carteles publicitarios en Silicon Valley.
La inevitable comparación entre ambos nos plantea la siguiente pregunta: ¿cuál es mejor? Hay ventajas y desventajas de enfatizar uno u otro.
ELT y pipelines de SQL
ELT se está tornando cada vez más atractivo en la actualidad. Los almacenes de datos modernos son flexibles y cada vez más rentables, lo que nos permite almacenar grandes volúmenes de datos, incluso datos desordenados que incluyen texto e imágenes. En este entorno, las transformaciones ocurren en el almacén de datos, donde el lenguaje nativo es SQL.
Más informaciónELT y pipelines de SQL
ELT se está tornando cada vez más atractivo en la actualidad. Los almacenes de datos modernos son flexibles y cada vez más rentables, lo que nos permite almacenar grandes volúmenes de datos, incluso datos desordenados que incluyen texto e imágenes. En este entorno, las transformaciones ocurren en el almacén de datos, donde el lenguaje nativo es SQL.
Más informaciónTransformación: nuevo nivel de SQL
Cuando utilizamos SQL para Transformar (la “T” en ELT) el enfoque cambia. En este caso, estamos tomando muchas tablas desordenadas y dispersas, y las manipulamos para darles un formato más utilizable o común. Continuando con el ejemplo anterior, supongamos que estamos extrayendo y cargando datos de ventas de 17 cadenas de electrónica que vendieron los teléfonos y nuestro trabajo en SQL es escribir consultas de transformación para integrar todos esos datos.
Más informaciónTransformación: nuevo nivel de SQL
Cuando utilizamos SQL para Transformar (la “T” en ELT) el enfoque cambia. En este caso, estamos tomando muchas tablas desordenadas y dispersas, y las manipulamos para darles un formato más utilizable o común. Continuando con el ejemplo anterior, supongamos que estamos extrayendo y cargando datos de ventas de 17 cadenas de electrónica que vendieron los teléfonos y nuestro trabajo en SQL es escribir consultas de transformación para integrar todos esos datos.
Más informaciónVolver a SQL: ingeniería de datos
Como parte del crecimiento de nuestro nuevo y masivo programa de Ciencia de datos de Berkeley, quedó claro que necesitábamos apuntar a una clase específica para la ingeniería de datos. Los objetivos de la ingeniería de datos son diferentes a los de la ingeniería de software. Por ende, fue interesante reflexionar sobre este plan de estudios y sobre cómo lo enseñaríamos de manera diferente a nuestras clases de base de datos establecidas.
En este nuevo enfoque, terminamos haciendo hincapié en cuatro pasos de SQL para la ingeniería de datos que son atípicos de una clase tradicional de bases de datos: calidad de datos, reestructuración de datos, “tareas en hojas de cálculo” y pruebas de pipelines de datos.
Volver a SQL: ingeniería de datos
Como parte del crecimiento de nuestro nuevo y masivo programa de Ciencia de datos de Berkeley, quedó claro que necesitábamos apuntar a una clase específica para la ingeniería de datos. Los objetivos de la ingeniería de datos son diferentes a los de la ingeniería de software. Por ende, fue interesante reflexionar sobre este plan de estudios y sobre cómo lo enseñaríamos de manera diferente a nuestras clases de base de datos establecidas.
En este nuevo enfoque, terminamos haciendo hincapié en cuatro pasos de SQL para la ingeniería de datos que son atípicos de una clase tradicional de bases de datos: calidad de datos, reestructuración de datos, “tareas en hojas de cálculo” y pruebas de pipelines de datos.