A maioria das equipes que diz ter automatizado o relatório semanal automatizou apenas o dashboard. A ferramenta de BI é atualizada conforme o agendamento, o gráfico é atualizado e todos seguem em frente, enquanto o trabalho de fato, que envolve extrair a exportação do Snowflake da semana anterior, incorporar um arquivo regional do Excel e reconciliá-lo com um terceiro sistema, ainda é feito manualmente toda segunda-feira de manhã. Isso não é automatizar a geração de relatórios. É uma pessoa fazendo a mesma montagem manual de um ano atrás, apenas com um gráfico mais organizado no final.
Uma pesquisa da McKinsey sobre automação no local de trabalho revelou que 57% das horas de trabalho nos EUA poderiam ser automatizadas com tecnologias que já existem hoje (McKinsey — Superagency in the Workplace). A geração de relatórios semanais se encaixa exatamente nessa lacuna: o potencial existe, mas a maioria dos relatórios nunca vai além da camada do dashboard. Este não é um artigo sobre qual ferramenta de BI comprar. Trata-se do que realmente é necessário para deixar de fazer a integração manual entre sistemas, como Snowflake, Excel e os sistemas de negócios que monitoram o restante, que nunca foram projetados para conversar entre si.
O relatório "automatizado" que ainda tem uma segunda-feira manual
Um relatório de desempenho de lojas enviado às segundas-feiras para os VPs regionais geralmente reúne dados de três fontes: um data warehouse Snowflake com dados de vendas e estoque, um arquivo do Excel enviado por e-mail pelos gerentes regionais com ajustes de remarcações e promoções e um sistema de gestão da força de trabalho que acompanha as horas de trabalho programadas e efetivamente trabalhadas por loja. Cada fonte pode já ter sua própria exportação, macro ou software de geração de relatórios automatizado, executado conforme um agendamento, o que a maioria das equipes chama de automação pontual. Isso representa um avanço real em relação a fazer tudo manualmente. Ainda assim, não é o mesmo que uma automação de relatórios de ponta a ponta.
A lacuna surge quando alguém precisa combinar as três fontes. Os IDs das lojas não correspondem entre os sistemas. Os períodos são registrados de formas diferentes, dependendo de quando cada fonte é atualizada. Os cabeçalhos das colunas mudam de posição porque um gerente regional reordenou os campos no arquivo da semana anterior ou adicionou um novo código promocional sem avisar ninguém.
Alguém, geralmente o analista responsável pelo relatório, passa a manhã de segunda-feira abrindo três arquivos, cruzando manualmente os identificadores das lojas e recalculando a relação entre custos de mão de obra e vendas antes que qualquer dado esteja pronto para ser enviado.
Essa não é uma reclamação isolada. A pesquisa State of Data and Analytics da Salesforce revelou que 76% dos líderes de negócios sentem uma pressão crescente para provar o valor de seus dados, enquanto líderes de dados e analytics estimam que 26% dos dados de suas organizações não são confiáveis (Salesforce — State of Data and Analytics). A automação pontual é facilmente confundida com a linha de chegada porque o dashboard continua sendo atualizado conforme o agendamento, mesmo enquanto os dados que o alimentam são montados manualmente toda semana.
Se a sua segunda-feira começa reabrindo a planilha da semana anterior e trocando os números manualmente, a atualização do dashboard no horário agendado não significa que o relatório está realmente automatizado.
Por que combinar Snowflake, Excel e um sistema de negócios faz a automação pontual falhar
A automação pontual falha porque as três fontes nunca foram projetadas para funcionar em conjunto. Os dados do Snowflake chegam limpos e estruturados. O data warehouse impõe um esquema, de modo que os registros de PDV e estoque chegam no mesmo formato toda semana. O arquivo do Excel, não. A ordem das colunas muda, uma loja é renomeada no meio do trimestre ou um novo código de promoção aparece no arquivo de um gerente sem qualquer aviso para quem precisará analisá-lo depois.
A extração do sistema de gestão da força de trabalho adiciona um terceiro conjunto de convenções: seus próprios identificadores de loja, sua própria formatação de data e sua própria maneira de indicar se um turno foi programado ou efetivamente realizado. Unir esses dados aos do Snowflake e do Excel exige uma etapa de mapeamento. Essa etapa geralmente fica na memória de alguém ou em uma fórmula de planilha na qual ninguém mais quer mexer, em vez de fazer parte do próprio processo. Um pipeline criado para reduzir o tempo de preparo de dados entre um data warehouse e fontes em planilhas resolve exatamente esse problema.
Isso é um problema de qualidade de dados antes de ser um problema de agendamento. A Gartner estima o custo médio da baixa qualidade dos dados em US$ 12,9 milhões por ano e aponta a inconsistência entre fontes como o desafio de qualidade de dados mais mencionado pelas organizações (Gartner — Data Quality: Best Practices for Accurate Insights). A pesquisa de Thomas Redman, publicada no MIT Sloan Management Review, vai além e estima que a baixa qualidade dos dados custa à maioria das empresas de 15% a 25% da receita (MIT Sloan Management Review — Seizing Opportunity in Data Quality). Reconciliar uma exportação do Snowflake, um arquivo do Excel editado manualmente e um extrato de um sistema de negócios não é uma pequena inconveniência. É exatamente o padrão descrito por essas pesquisas e também o ponto em que a geração de relatórios baseada em Excel tende a falhar primeiro à medida que o número de fontes aumenta.
É por isso que a automação pontual chega ao seu limite. Automatizar cada fonte isoladamente não elimina a reconciliação manual entre elas, apenas empurra esse trabalho para mais adiante no processo, para quem quer que monte o relatório final. Corrigir isso significa tratar a etapa de reconciliação diretamente, e não comprar outro software de geração de relatórios de negócios que afete apenas o dashboard.
O que um relatório semanal de várias fontes exige
Um relatório semanal de várias fontes precisa de cinco coisas, e a maioria das equipes só tem duas delas no piloto automático:
- Conectividade nativa a um warehouse na nuvem, como o Snowflake: sem depender de scripts personalizados que quebram a cada mudança de esquema.
- Ingestão recorrente de arquivos planos, como o Excel: em vez de extraí-los uma única vez e considerar o trabalho concluído.
- Reconciliação automática de chaves incompatíveis: IDs de lojas, formatos de data e convenções de nomenclatura devem ser conciliados automaticamente, em vez de depender de uma fórmula que só uma pessoa sabe manter.
- Geração de resultados nos formatos que as partes interessadas realmente usam: PDF para executivos, Excel para gerentes regionais e HTML para quem estiver lendo no celular.
- Agendamento automático: o processo deve ser executado sem que alguém precise se lembrar de iniciá-lo toda segunda-feira de manhã.
A maioria dos dashboards de BI e outras ferramentas de geração automatizada de relatórios é forte nos dois últimos itens, formatação e agendamento do dashboard, e fraca nos três primeiros. É exatamente aí que está a lacuna à qual este post continua voltando: conectar e reconciliar entradas heterogêneas e desorganizadas antes que qualquer coisa chegue a um gráfico. Um framework para avaliar ferramentas de automação de fluxo de trabalho é útil justamente porque avalia as opções com base nos cinco requisitos, e não apenas nos dois últimos.
Há mais um item que precisa entrar nessa lista: governança. Não se trata de fazer uma afirmação abrangente sobre conformidade, mas de saber quem pode alterar o agendamento, quem é responsável pela lógica de reconciliação e ter um registro do que foi executado e quando. Esse é o nível necessário para chamar algo de automação do fluxo de trabalho, em vez de uma coleção de exportações agendadas, e é o padrão que toda opção precisa atender, incluindo aquela que este post apresenta no final.
Uma ferramenta que automatiza apenas a camada de visualização sempre deixará alguém responsável pela montagem manual.
A etapa ausente: orquestração, não apenas dashboards
Existe uma quarta etapa que a maioria das conversas sobre automação da geração de relatórios deixa de lado: um fluxo de trabalho que se conecta a todas as fontes, reconcilia as diferenças entre elas e executa toda a sequência conforme um agendamento, em vez de um dashboard alimentado por dados reunidos manualmente. Você pode chamar isso de orquestração ou de automação de fluxos de trabalho de dados. O nome importa menos do que o que a solução faz. Ela atua antes do dashboard, não depois dele.
Esse é o contraste direto com a automação de dashboards. Um dashboard atualizado conforme o agendamento não resolve o problema se os dados que o alimentam ainda precisam ser reunidos manualmente. A orquestração tira essa etapa das mãos de uma pessoa no processo semanal, não de todo o processo, mas da parte repetitiva.
Nessa etapa, "concluído" se parece com isto: alguém cria a lógica de conexão e combinação dos dados uma vez, mapeando os campos do Snowflake, padronizando as colunas do Excel e alinhando os IDs das lojas do sistema de gestão da força de trabalho. Depois disso, o relatório é executado conforme um agendamento definido, sem que ninguém precise reajustar a estrutura subjacente. Uma análise detalhada de como as equipes de analytics automatizam todo o pipeline, da conexão ao relatório pode ajudar a entender a mecânica antes de passar ao tutorial abaixo.
Essa etapa também tende a ser especialmente útil para equipes sem uma função dedicada de engenharia de dados, porque o fluxo de trabalho geralmente é criado e mantido pelo analista que conhece o relatório, em vez de ser transferido para um backlog de engenharia. Veja, passo a passo, como criar esse fluxo de trabalho único na prática.
Como automatizar a geração de relatórios: criando o fluxo de trabalho, passo a passo
Uma maneira de entender como isso funciona na prática é observar o caso da equipe de inteligência de negócios da Stratasys, fabricante de impressoras 3D. A empresa transferiu o trabalho de montagem de um relatório recorrente para um único fluxo de trabalho agendado, criado no Alteryx, reduzindo o tempo de produção de cinco horas para cerca de 30 minutos (estudo de caso: Stratasys). O relatório em si não ficou mais rápido de criar do zero a cada semana. Ele simplesmente deixou de ser criado do zero a cada semana.
A criação desse tipo de fluxo de trabalho segue, em linhas gerais, estas etapas:
Identifique cada fonte e sua frequência natural de atualização. No cenário de varejo, isso inclui o warehouse do Snowflake, atualizado todas as noites; os arquivos regionais do Excel, enviados por e-mail pelos gerentes em diferentes momentos; e a extração do sistema de gestão da força de trabalho, gerada semanalmente. O fluxo de trabalho precisa se conectar diretamente a um warehouse na nuvem, como o Snowflake e ler arquivos simples, como os do Excel, como entradas padrão, sem depender de um script personalizado que possa quebrar na próxima vez que uma coluna mudar de posição.
Defina as chaves de junção e padronize os formatos entre as fontes para alinhar os IDs das lojas e os intervalos de datas. Esse é o processo de combinação de dados: mapear, por exemplo, os códigos de loja do sistema de gestão da força de trabalho para os códigos usados no warehouse, para que os dois conjuntos de dados possam ser efetivamente combinados, em vez de depender de uma fórmula que alguém precise se lembrar de atualizar.
Combine e valide os dados antes de incorporá-los ao relatório, identificando uma loja ausente ou um código de promoção malformado antes que isso resulte em um número incorreto apresentado a um VP regional.
Monte o relatório nos formatos de saída de que as partes interessadas realmente precisam. O relatório final pode ser gerado em PDF, HTML, Excel ou Word, com os dados de cada loja direcionados para sua própria planilha. Isso é útil quando os VPs regionais querem o mesmo relatório detalhado por loja em uma pasta de trabalho que já sabem como navegar.
Defina o agendamento e a lista de distribuição. O fluxo de trabalho pode ser agendado para execução automática a cada hora, diariamente, semanalmente, mensalmente ou em uma frequência personalizada, para que o relatório esteja pronto antes da reunião regional de segunda-feira.
Monitore as falhas para evitar que uma fonte indisponível gere silenciosamente um relatório incorreto. Se o arquivo do Excel não chegar ou a extração do sistema de gestão da força de trabalho vier vazia, alguém precisa ser avisado antes do envio do relatório, e não depois que um VP perguntar por que os números parecem estranhos.
Nada disso automatiza completamente o relatório de ponta a ponta. Configurar as conexões, definir a lógica de reconciliação e revisar os resultados periodicamente ainda é responsabilidade de alguém. O que muda é que a conexão com o Snowflake, os arquivos do Excel e os principais sistemas de negócios passa a acontecer em um único fluxo de trabalho, eliminando o trabalho manual e repetitivo de extrair e formatar o relatório toda semana. Para a equipe de varejo deste cenário, o relatório semanal de desempenho das lojas agora é executado automaticamente, conforme o agendamento, com dados das três fontes, seguindo um padrão semelhante a este caso de uso de geração de relatórios de desempenho das lojas. Assim, a segunda-feira do analista é dedicada à revisão de exceções, e não à recriação do relatório do zero.
Para um passo a passo mais detalhado do processo de configuração, o e-book Como automatizar relatórios (e gerar insights valiosos) aborda o assunto em mais profundidade.
De um relatório formatado para um resumo narrativo
Assim que a montagem dos dados é automatizada, o próximo gargalo costuma ser o comentário: o parágrafo que explica por que a relação entre mão de obra e vendas aumentou em uma região naquela semana, e não apenas qual foi o número. Mesmo quando o relatório já é executado automaticamente conforme o agendamento, essa etapa ainda costuma ser feita manualmente.
Recursos de IA generativa, como os do Alteryx, podem ajudar a gerar automaticamente resumos narrativos com base nos dados, oferecendo uma primeira versão da explicação que um analista pode revisar e editar, em vez de escrever do zero. O objetivo é ajudar as equipes a obter insights mais rapidamente, e não substituir o julgamento de quem precisa validar os números antes que eles cheguem a um vice-presidente regional.
Dessa forma, os insights automatizados também podem facilitar o envio recorrente de relatórios por e-mail, em uma frequência definida, permitindo que os destinatários se inscrevam ou cancelem a assinatura por conta própria. Para um relatório semanal de desempenho das lojas, isso significa que a distribuição passa a fazer parte do mesmo agendamento que reúne e processa os dados, em vez de ser uma etapa manual separada para encaminhar um arquivo toda segunda-feira.
Primeiros passos
A maioria das equipes presas nesse padrão já automatizou o dashboard. O que ainda é manual é tudo o que o alimenta: extrair os dados do Snowflake, combiná-los com o arquivo do Excel, reconciliá-los com um terceiro sistema e repetir esse processo toda semana. A solução não é criar outro dashboard. É usar um único fluxo de trabalho para cuidar da conexão, da combinação de dados e do agendamento, fazendo esse trabalho uma vez em vez de toda segunda-feira.
O Alteryx One foi criado para esse tipo de automação de fluxos de trabalho: conectar-se ao Snowflake, a arquivos do Excel e a sistemas essenciais de negócios em um único fluxo de trabalho; preparar e combinar os dados; e agendar e distribuir o relatório finalizado. Ele automatiza o trabalho manual e repetitivo de extrair e formatar um relatório semanal, mas não elimina a necessidade de alguém definir a lógica de reconciliação, configurar o agendamento e verificar os resultados periodicamente.
O melhor é começar pequeno: escolha o relatório que mais consome tempo toda semana e crie primeiro a lógica de conexão e combinação de dados para ele. As equipes que quiserem testar a solução com seus próprios dados podem iniciar uma avaliação gratuita do Alteryx One. Já as equipes corporativas que estiverem avaliando essa solução em comparação com outras ferramentas de geração de relatórios podem solicitar uma demonstração.