Verão do SQL: Série de perguntas e respostas com Joe Hellerstein
Após ficar um pouco de lado, o SQL voltou com tudo.
Para descobrir o motivo e o que perdemos, fizemos uma série de perguntas a Joe Hellerstein, professor de ciência da computação da Universidade da Califórnia, em Berkeley, e cofundador da Trifacta.
Nesta série, você saberá por que o SQL voltou, como fica a moderna engenharia de dados na nuvem com o empurrão de data warehouses na nuvem e por que ETL está virando o que está.
Verão do SQL: Por que voltou
Nas primeiras décadas do milênio, a abordagem centrada em Java estava na moda, mas o SQL voltou com força total. Hoje, ele parece ser o assunto de todas as discussões sobre engenharia de dados e vem reaparecendo nos outdoors do Vale do Silício.
A comparação dos dois leva inevitavelmente à pergunta: qual é melhor? Há prós e contras ao enfatizar uma ou outra alternativa.
Verão do SQL: Por que voltou
Nas primeiras décadas do milênio, a abordagem centrada em Java estava na moda, mas o SQL voltou com força total. Hoje, ele parece ser o assunto de todas as discussões sobre engenharia de dados e vem reaparecendo nos outdoors do Vale do Silício.
A comparação dos dois leva inevitavelmente à pergunta: qual é melhor? Há prós e contras ao enfatizar uma ou outra alternativa.
Pipelines de SQL e ELT
O ELT vem ficando cada vez mais atraente. Os data warehouse atuais são flexíveis e cada vez mais econômicos, o que nos permite armazenar grandes volumes de dados — até mesmo dados desorganizados, incluindo textos e imagens. Nesse ambiente, ocorrem transformações no data warehouse, onde a linguagem nativa é o SQL.
Saiba maisPipelines de SQL e ELT
O ELT vem ficando cada vez mais atraente. Os data warehouse atuais são flexíveis e cada vez mais econômicos, o que nos permite armazenar grandes volumes de dados — até mesmo dados desorganizados, incluindo textos e imagens. Nesse ambiente, ocorrem transformações no data warehouse, onde a linguagem nativa é o SQL.
Saiba maisTransformação: Novo nível do SQL
Quando usamos SQL para transformação (o "T" em ELT), o foco muda. Nesse caso, pegamos muitas tabelas desorganizadas e díspares e as transformamos em um formato mais utilizável ou comum. Retomando o exemplo anterior, talvez estejamos extraindo e carregando dados de vendas de 17 cadeias de eletrônicos que venderam os telefones, e nosso trabalho no SQL é gravar consultas de transformação que integrem esses dados.
Saiba maisTransformação: Novo nível do SQL
Quando usamos SQL para transformação (o "T" em ELT), o foco muda. Nesse caso, pegamos muitas tabelas desorganizadas e díspares e as transformamos em um formato mais utilizável ou comum. Retomando o exemplo anterior, talvez estejamos extraindo e carregando dados de vendas de 17 cadeias de eletrônicos que venderam os telefones, e nosso trabalho no SQL é gravar consultas de transformação que integrem esses dados.
Saiba maisDe volta ao SQL: Engenharia de dados
Como parte do crescimento do nosso novo e enorme programa de data science em Berkeley, ficou claro que precisávamos de uma aula específica sobre engenharia de dados. Os objetivos da disciplina são diferentes dos da engenharia de software. Portanto, foi interessante conceber esse currículo e decidir como ensinar de forma diferente das nossas aulas no banco de dados.
Nessa nova abordagem, acabamos enfatizando quatro passos do SQL for Data Engineering incomuns em uma aula tradicional sobre bancos de dados: qualidade dos dados, remodelagem dos dados, "tarefas de planilha" e testes do pipeline de dados.
De volta ao SQL: Engenharia de dados
Como parte do crescimento do nosso novo e enorme programa de data science em Berkeley, ficou claro que precisávamos de uma aula específica sobre engenharia de dados. Os objetivos da disciplina são diferentes dos da engenharia de software. Portanto, foi interessante conceber esse currículo e decidir como ensinar de forma diferente das nossas aulas no banco de dados.
Nessa nova abordagem, acabamos enfatizando quatro passos do SQL for Data Engineering incomuns em uma aula tradicional sobre bancos de dados: qualidade dos dados, remodelagem dos dados, "tarefas de planilha" e testes do pipeline de dados.