Data cleansing

O que é data cleansing?

Data cleansing, também conhecido como limpeza ou depuração de dados, identifica e corrige erros, duplicações e informações irrelevantes
em um conjunto de dados brutos. Como parte do processo de preparo, a limpeza
de dados oferece dados precisos e adequados que geram visualizações, modelos e decisões
de negócios confiáveis.

Por que data cleansing é importante?

A qualidade de análises e algoritmos depende diretamente dos dados utilizados como base. Em média, organizações acreditam que quase 30% das informações geradas são imprecisas. Esses dados sujos representam 12% da receita bruta das empresas —
o que significa perdas bem maiores do que apenas prejuízos financeiros. A limpeza proporciona dados consistentes, estruturados e precisos,
que permitem a tomada de decisões fundamentadas e mais eficientes. Além disso, também destaca áreas para aprimorar o fluxo de entrada de dados e ambientes de armazenamento,
gerando economias de tempo e dinheiro, tanto no presente como no futuro.

Como funciona o processo de data cleansing?

Data cleansing é uma parte essencial de qualquer processo analítico e normalmente envolve seis etapas.

Deduplicação: duplicações ou dados redundantes costumam aparecer quando existem combinações de diversas fontes (por exemplo, planilhas, sites e bancos de dados) ou, quando um cliente apresenta inúmeros pontos de contato com a empresa ou faz o envio de formulários excedentes. Esses dados repetitivos ocupam espaço no servidor e recursos de processamento, além de gerar arquivos maiores e análises menos eficazes. As regras para eliminar conteúdos duplicados dependem dos resultados desejados pela empresa. Por exemplo, se um cliente enviou diversos e-mails em páginas distintas de um site, uma abordagem cautelosa eliminaria apenas linhas de dados onde cada campo coincide de maneira exata.

 

Exclusão de informações irrelevantes: dados inadequados para o problema a ser corrigido podem atrasar o tempo de processamento. A eliminação dessas informações insignificantes é excluída apenas da análise em andamento, mas não da fonte. Por exemplo, ao investigar campanhas do ano anterior, não há necessidade de incluir dados fora desse intervalo de tempo. Entretanto, lembre-se que mesmo no caso de dispensar determinada variável, ela pode estar correlacionada com o resultado sendo pesquisado (por exemplo, a idade de um cliente pode influenciar qual e-mail teve mais impacto).

 

Gerenciamento de dados incompletos: dados podem conter valores ausentes por alguns motivos (por exemplo, clientes que omitem informações), indispensáveis para a análise a fim de evitar distorções e cálculos incorretos. Após isolar e verificar esses resultados que podem aparecer como “0”, “NA”,<br> “nenhum”, “nulo” ou “não aplicável”, determine se esses dados são plausíveis ou podem conter informações incompletas. Embora a solução mais fácil seja descartar esses dados, fique atento a qualquer viés que possa resultar essa ação. As alternativas incluem trocar valores nulos por substituições baseadas em modelagem estatística ou condicionada, ou sinalizar e relatar a ausência de dados.

 

Identificação de anomalias: pontos de dados que estão muito distantes em relação aos demais podem distorcer a realidade das informações de forma significativa. Essas discrepâncias podem ser identificadas com técnicas visuais ou quantitativas, incluindo diagramas de caixa, histogramas, gráficos de dispersão ou pontuação z. Quando isso faz parte de um processo automatizado, é possível criar suposições rápidas, testá-las e solucionar problemas de dados com segurança. Após serem detectados, esses desvios podem ser incluídos ou omitidos, dependendo do grau de severidade e dos métodos estatísticos aplicados durante a análise.

 

Correção de erros estruturais: é importante corrigir falhas e inconsistências, incluindo tipografia, uso de maiúsculas, abreviação e formatação. Observe o tipo de dados para cada coluna e verifique se as entradas estão corretas e consistentes, inclusive campos padrões, e elimine caracteres indesejados, tais como espaços em branco excedentes.

 

Validação: essa é a oportunidade de assegurar que os dados estão precisos, completos, consistentes e homogêneos. Isso ocorre durante todo o processo automatizado para a limpeza, mesmo assim é importante testar uma amostra para garantir o alinhamento de tudo. Também é um excelente recurso para documentar as ferramentas e técnicas usadas durante o processo completo de limpeza.

O futuro do processo de data cleansing

A limpeza de dados é essencial para realizar uma análise sólida e poderosa, mas para muitas empresas esse é um processo manual, em silos, que
desperdiça tempo e recursos. A plataforma Alteryx Analytic Process Automation viabiliza a limpeza e o acesso aos dados de forma reproduzível, escalável
e flexível, permitindo:

• A democratização de dados e analytics
• A automação dos processos de negócios
• A qualificação contínua das pessoas para alcançar resultados rápidos e transformadores

A limpeza de dados é a base da plataforma Analytic Process Automation (APA). Com esse alicerce robusto, empresas
possuem um direcionamento claro para o aprofundamento de análises com recursos de data science e machine learning.

Como começar com o processo de data cleansing?

O processo manual de limpeza de dados é desgastante, suscetível a erros e consome muito tempo. Com um conjunto de blocos de construção que facilitam a automação,
a plataforma Alteryx Analytics Automation™ habilita organizações a identificar e limpar dados sujos de diversas
maneiras — sem código. A plataforma analítica de ponta a ponta é projetada com a relevância e
especificações para a exploração de dados, e com o conceito de que dados limpos geram análises de qualidade. Com a plataforma Alteryx, você pode
criar um processo rápido, repetível e auditável uma única vez e automatizá-lo para sempre.