Summer of SQL: Eine Q&A-Serie mit Joe Hellerstein
SQL ist in diesem Sommer wieder groß im Kommen, nachdem es eine Zeit lang in den Hintergrund getreten war.
Um herauszufinden, warum und was wir verpasst haben, haben wir Joe Hellerstein, Computer-Science-Professor an der University of California, Berkeley, und Mitbegründer von Trifacta, eine Reihe von Fragen gestellt.
In dieser Serie erfahren Sie, warum SQL zurück ist, wie modernes Cloud Data Engineering mit der Beschleunigung von Cloud Data Warehouses aussieht und warum ETL zu ELT wird.
Summer of SQL: Warum es zurück ist
In den ersten Jahrzehnten des Jahrtausends schien es, als sei der Java-zentrierte Ansatz das „heiße neue Ding“. Doch SQL hat sich wieder durchgesetzt. Heutzutage scheint SQL im Mittelpunkt jedes Data-Engineering-Gesprächs zu stehen und im Silicon Valley wieder auf den Werbetafeln aufzutauchen.
Der Vergleich der beiden „Shops“ führt unweigerlich zu der Frage: Welcher ist besser? Es hat Vor- und Nachteile, das eine oder das andere bevorzugt.
Summer of SQL: Warum es zurück ist
In den ersten Jahrzehnten des Jahrtausends schien es, als sei der Java-zentrierte Ansatz das „heiße neue Ding“. Doch SQL hat sich wieder durchgesetzt. Heutzutage scheint SQL im Mittelpunkt jedes Data-Engineering-Gesprächs zu stehen und im Silicon Valley wieder auf den Werbetafeln aufzutauchen.
Der Vergleich der beiden „Shops“ führt unweigerlich zu der Frage: Welcher ist besser? Es hat Vor- und Nachteile, das eine oder das andere bevorzugt.
SQL Pipelines und ELT
ELT wird heutzutage immer attraktiver. Moderne Data Warehouses sind flexibel und zunehmend kosteneffizient, sodass wir große Datenmengen speichern können – selbst unübersichtliche Daten, die Text- und Bildmengen enthalten. In diesem Umfeld finden Transformationen im Data Warehouse statt, dessen Muttersprache SQL ist.
Mehr erfahrenSQL Pipelines und ELT
ELT wird heutzutage immer attraktiver. Moderne Data Warehouses sind flexibel und zunehmend kosteneffizient, sodass wir große Datenmengen speichern können – selbst unübersichtliche Daten, die Text- und Bildmengen enthalten. In diesem Umfeld finden Transformationen im Data Warehouse statt, dessen Muttersprache SQL ist.
Mehr erfahrenTransformation: SQL der nächsten Stufe
Wenn wir SQL für die Transformation verwenden – das „T“ in ELT –, ändert sich der Fokus. In diesem Fall nehmen wir viele chaotische und unterschiedliche Tabellen und bringen sie in eine benutzerfreundlichere oder gängigere Form. Um unser vorheriges Beispiel aufzugreifen, könnten wir Verkaufsdaten von 17 Elektronikketten, die die Telefone verkauft haben, extrahieren und laden, und unsere Aufgabe in SQL besteht darin, Transformationsabfragen zu schreiben, die diese Daten integrieren.
Mehr erfahrenTransformation: SQL der nächsten Stufe
Wenn wir SQL für die Transformation verwenden – das „T“ in ELT –, ändert sich der Fokus. In diesem Fall nehmen wir viele chaotische und unterschiedliche Tabellen und bringen sie in eine benutzerfreundlichere oder gängigere Form. Um unser vorheriges Beispiel aufzugreifen, könnten wir Verkaufsdaten von 17 Elektronikketten, die die Telefone verkauft haben, extrahieren und laden, und unsere Aufgabe in SQL besteht darin, Transformationsabfragen zu schreiben, die diese Daten integrieren.
Mehr erfahrenZurück zu SQL: Data Engineering
Im Rahmen des Ausbaus unseres umfangreichen neuen Data-Science-Programms in Berkeley wurde klar, dass wir einen Kurs speziell für Data Engineering benötigen. Die Ziele von Data Engineering unterscheiden sich von denen von Software Engineering. Es war also interessant, über diesen Lehrplan nachzudenken und zu überlegen, wie wir ihn anders unterrichten könnten als unsere etablierten Datenbank-Kurse.
Bei diesem neuen Ansatz haben wir uns letztendlich auf vier Schritte zu SQL für Data Engineering konzentriert, die für einen herkömmlichen Datenbankkurs untypisch sind: Datenqualität, Datenumformung, „Tabellenkalkulationsaufgaben“ und Daten-Pipeline-Tests.
Zurück zu SQL: Data Engineering
Im Rahmen des Ausbaus unseres umfangreichen neuen Data-Science-Programms in Berkeley wurde klar, dass wir einen Kurs speziell für Data Engineering benötigen. Die Ziele von Data Engineering unterscheiden sich von denen von Software Engineering. Es war also interessant, über diesen Lehrplan nachzudenken und zu überlegen, wie wir ihn anders unterrichten könnten als unsere etablierten Datenbank-Kurse.
Bei diesem neuen Ansatz haben wir uns letztendlich auf vier Schritte zu SQL für Data Engineering konzentriert, die für einen herkömmlichen Datenbankkurs untypisch sind: Datenqualität, Datenumformung, „Tabellenkalkulationsaufgaben“ und Daten-Pipeline-Tests.