Sabes que el informe funcionó el mes pasado: nadie cambió los cálculos, el flujo de trabajo sigue ejecutándose sin errores y, aun así, el número en el panel de control simplemente parece incorrecto.
Entonces empiezas a rastrear el problema hacia atrás hasta que finalmente encuentras qué cambió. Apareció un nuevo valor de categoría que nunca se asignó, una de las fuentes llegó con retraso o una unión que había funcionado perfectamente durante meses de repente está generando filas adicionales.
Si llevas un tiempo a cargo de la analítica recurrente, ya sabes cómo funciona. Encontrar el problema puede requerir cierta investigación, pero lo más frustrante es darte cuenta de que ya has resuelto alguna versión del problema antes, y la comprobación que lo habría detectado sigue solo en tu cabeza.
Necesitas incorporar más de ese conocimiento al proceso para que los problemas se detecten antes, en lugar de obligarte a revisar el flujo de trabajo a toda prisa justo antes de que se publique el informe.
Empieza por determinar qué condiciones debe cumplir este informe
Para la generación de informes, la calidad de los datos comienza con lo que le pides a los datos que hagan. El mismo conjunto de datos puede funcionar perfectamente para un análisis y resultar inadecuado para otro, por lo que una lista de verificación universal de lo que se considera “datos de calidad” solo sirve hasta cierto punto.
Como señala Gartner, “las herramientas de calidad de datos no existen solas”. Lo que importa es qué tan bien admiten el trabajo de analítica y generación de informes que necesitas realizar.
Toma un informe financiero mensual, donde tus verificaciones pueden ser muy concretas:
- ¿Llegaron todos los archivos fuente esperados?
- ¿La extracción incluye el período completo de generación de informes?
- ¿Los totales se concilian con la cifra de control que esperas?
- ¿Apareció algún centro de costos nuevo sin un mapeo?
- ¿Los datos siguen teniendo el nivel de detalle esperado, por ejemplo, una fila por factura?
Pasa a un flujo de trabajo diferente y las verificaciones cambian con él. En un flujo de trabajo de segmentación de clientes, las entidades duplicadas o la calidad de las coincidencias pueden ser mucho más importantes. En un panel de control operativo, la principal preocupación podría ser si los datos de hoy estuvieron disponibles en el momento previsto.
Por eso, los “datos limpios” no son una meta muy útil. Una fecha puede tener el formato correcto y, aun así, corresponder al mes equivocado, mientras que dos tablas de origen pueden parecer correctas por separado hasta que la unión entre ellas empieza a generar duplicados.
Probablemente ya tengas un proceso de calidad de datos
Si has estado ejecutando el mismo informe durante un tiempo, probablemente hayas acumulado una colección de verificaciones sin haberte sentado nunca a llamarlas un “proceso de calidad de datos”. Algunas están en el flujo de trabajo, otras ocurren en Excel y algunas son cosas que recuerdas porque una fuente te sorprendió hace tres ciclos de generación de informes.
Mientras tanto, otra persona de tu equipo puede estar atenta a un problema completamente diferente porque ya tuvo una mala experiencia con eso antes. En poco tiempo, el proceso se divide entre lo que está integrado en el flujo de trabajo y lo que las personas saben que deben revisar por su cuenta. A medida que los datos cambian y surgen nuevos problemas, se agregan más controles.
No necesitas que el software tome cada decisión por ti. Lo que ayuda es incorporar más de las comprobaciones que repites al proceso, de modo que sigan ahí cuando lleguen datos nuevos.
La creación de perfiles te ayuda a evitar definir reglas sin basarte en datos reales
Supongamos que intentas decidir a partir de qué nivel de valores faltantes se debe marcar un campo. Un umbral resulta más significativo si sabes cómo se comporta normalmente ese campo: una caída del 99,9 % al 94 % de datos completos indica algo muy distinto que un campo cuyo nivel de datos completos siempre ha rondado el 90 %.
Lo mismo puede ocurrir con la unicidad de los datos. Antes de exigir que el ID de factura sea único, asegúrate de que, en esa etapa, el flujo de trabajo siga teniendo una fila por factura; de lo contrario, podrías terminar con una comprobación que genere alertas con tanta frecuencia que la gente deje de prestarles atención.
Cuando compares plataformas, fíjate en la rapidez con la que la creación de perfiles de datos te ayuda a comprender el contexto en el que se aplica una regla. De aquí a seis meses, tú u otro analista aún deberían poder explicar por qué existe un umbral, en lugar de heredar un número que nadie recuerda haber elegido.
Los controles que vale la pena mantener a menudo son los que ya haces
Probablemente tengas una lista mental de comprobaciones que haces antes de publicar un informe. Tal vez siempre compruebes que estén incluidos los datos del mes actual, o sepas que hay una unión que merece una segunda revisión porque ya ha generado filas adicionales en otras ocasiones.
Esos son los controles que vale la pena convertir en una validación de datos repetible, especialmente cuando hay una razón de negocio detrás. “Este campo no puede ser nulo” es útil, pero “todas las tiendas activas deben tener una región asignada antes de que se publique el informe de ventas” le explica a la siguiente persona por qué existe esa comprobación y qué problema busca evitar.
Un control de calidad de datos fallido es solo el comienzo
Supongamos que es el final de la tarde y la comprobación de integridad aparece en rojo. Bien, has detectado un problema, pero ahora tienes que averiguar qué ocurrió. Quizás falten unos pocos registros o quizás falte una parte importante de los datos. En cualquier caso, necesitas saber si el problema se originó en la fuente o en algún punto del flujo de trabajo.
Si lo único que te indica la plataforma es “calidad no aprobada”, sigues teniendo que hacer el trabajo de investigación. Al comparar plataformas, presta atención a la rapidez con la que una verificación fallida te lleva a los registros que hay detrás. Cuando el informe vence en una hora, ese camino importa mucho más que una pantalla de estado impecable.
Tal vez 30 transacciones pasaron sin un mapeo válido. Si el siguiente paso es exportar esos registros, corregirlos en otra herramienta y volver a incorporarlos al flujo de trabajo de generación de informes, habrás identificado el problema, pero no habrás facilitado mucho su resolución.
A veces, tiene sentido transferir el problema a otro equipo porque es el responsable de tomar la decisión. Sin embargo, cuando la lógica de negocio está en manos de tu equipo, analiza qué parte de la investigación y del seguimiento puedes realizar sin salir del flujo de trabajo.
Lo que hagas a continuación depende de lo que falló
“Encontrar los datos incorrectos” suena sencillo hasta que estás frente a una excepción real. Tal vez aparezca un nuevo código de producto sin coincidencia en la tabla de asignaciones. Puedes ver qué registros están afectados, pero la plataforma no puede saber si ese producto pertenece a la categoría Consumo, Empresas o a una categoría que el negocio creó ayer.
Otros problemas son más fáciles porque la decisión ya se tomó. Si una fuente utiliza indistintamente “N.Y.” y “New York” y todos han acordado cuál es el valor estándar, la limpieza de datos puede aplicar la misma corrección de forma automática, sin que tengas que volver a ocuparte de ella todos los meses.
Por eso, “corrige automáticamente los datos erróneos” no es una prueba muy útil al comparar plataformas. Algunos problemas tienen una respuesta establecida; otros aún necesitan tu criterio. Y si falta una fuente crítica, lo más adecuado puede ser detener el informe antes de que el proceso siga avanzando.
Todavía estás decidiendo qué significa cada tipo de falla. Lo que quieres de la plataforma es una forma de hacer que las decisiones que ya tomaste sean más fáciles de repetir.
Compara plataformas con un flujo de trabajo que ya conoces
Las cuadrículas de características pueden hacer que plataformas de calidad de datos muy diferentes parezcan sorprendentemente similares. Creación de perfiles, reglas, monitoreo, automatización: la mayoría de los proveedores pueden ofrecer alguna funcionalidad en cada una de estas categorías, pero la lista no te dirá cómo será la situación un viernes por la tarde cuando las cifras no cuadren.
En su lugar, incorpora un flujo de trabajo real a la evaluación, preferiblemente uno que tu equipo conozca bien y que tenga algo de historia detrás. Un informe que aún requiera una conciliación manual, o que tenga un paso que todos saben que deben verificar dos veces, te dirá mucho más que datos de demostración impecables. Así puedes ver cómo la plataforma gestiona el tipo de trabajo al que se enfrenta tu equipo en una semana normal, y no solo un ejemplo diseñado específicamente para destacar sus capacidades.
Prueba las reglas en las que realmente se basa tu informe
Las comprobaciones en las que confías suelen ir más allá de la validación básica a nivel de campo. Tal vez debas asegurarte de que cada tienda que operó este mes tenga una región. O tal vez el problema al que aprendiste a prestar atención es una unión que a veces crea filas adicionales. Tus reglas deben reflejar las cosas que pueden desestabilizar el informe, no solo si los campos pasan una comprobación técnica básica.
Usa las reglas de las que depende tu equipo en la vida real. Si son difíciles de crear o complicadas de entender para otro analista, presta atención. Las comprobaciones importantes tienden a terminar de nuevo en hojas de cálculo o en la rutina que alguien sigue antes de publicar un informe cuando la plataforma solo permite gestionar fácilmente las más sencillas.
Las comprobaciones claras y reutilizables también facilitan la transferencia de tareas. El analista que se haga cargo del flujo de trabajo puede ver qué aspectos debe controlar sin necesidad de dedicar media hora a explicarle todo lo que el informe “a veces hace”.
Provoca un error y observa cómo responde la plataforma
Una demostración te dice mucho más cuando los datos se desordenan un poco. Omite una entrada que sabes que el flujo de trabajo necesita o incluye un valor que no coincida con la lógica existente. Si las uniones han causado problemas antes, usa un caso de prueba que cree el mismo tipo de filas duplicadas.
Luego, sigue el problema y descubre con qué rapidez puedes pasar de la verificación fallida a los registros que hay detrás. También conviene saber si el flujo de trabajo puede responder de distintas maneras según el problema que se produzca: por ejemplo, detenerse si falta una fuente y enviar a revisión una coincidencia dudosa.
Los datos preparados para una demostración pueden hacer que casi cualquier plataforma parezca funcionar a la perfección. Un caso de prueba que genere problemas te dará una idea mucho más clara de cómo será usar la plataforma cuando ocurra lo mismo con los datos reales.
Dónde tienden a aparecer los problemas de calidad de datos en la generación de informes
Para cuando llegues a la generación de informes de datos, alguien está a punto de usar el resultado, que es cuando un problema de calidad se vuelve mucho más difícil de ignorar.
Un panel de control puede actualizarse perfectamente aunque falten los datos del período de generación de informes más reciente, porque la visualización está haciendo exactamente lo que se le indicó; el problema es que el flujo de trabajo nunca comprobó si habían llegado los datos esperados.
Una unión puede tomarte por sorpresa de la misma manera. Ambas entradas pueden verse bien por sí solas, pero si la relación entre ellas cambia, puedes terminar de repente con filas adicionales más adelante en el flujo. Si esperas tener una fila por factura, comprobarlo justo después de la unión te aporta mucha más información que limitarte a confirmar que ambas tablas de origen parecían no tener problemas.
A veces, los datos en sí son perfectamente válidos, pero tu lógica de generación de informes no los ha visto antes. Tal vez aparece un nuevo canal de ventas que no tiene lugar en las categorías actuales de generación de informes. El valor no es incorrecto; solo necesita una decisión antes de que el informe esté listo.
Cuándo conviene más utilizar una plataforma específica de calidad u observabilidad de datos
A veces estás resolviendo un problema más importante que determinar si un flujo de trabajo de generación de informes está listo para usarse. Si tu equipo necesita monitorear la calidad en un amplio entorno de datos o admitir una supervisión más cercana a la ingeniería de datos, una plataforma especializada de calidad de datos o de observabilidad de datos puede ser más adecuada.
Pero si la mayor parte de tus problemas comienza después de que falla una verificación, observa de cerca qué pasa después. Lo que necesitas saber es si puedes acceder a los registros afectados, resolver el problema y mantener el flujo de trabajo en marcha sin tener que enviar los datos a otro proceso.
Esas son necesidades diferentes. Si tu prioridad es una supervisión amplia en toda la empresa, evalúa las plataformas en función de esa necesidad. Si tu equipo dedica más tiempo a investigar comprobaciones fallidas dentro de los flujos de trabajo de generación de informes, presta más atención a la facilidad con la que puedes resolver el problema sin tener que desarmar el flujo de trabajo.
Descubre cómo funciona en la práctica un flujo de trabajo de analítica conectado
Tomemos como ejemplo un informe semanal de inventario en el que uno de los proveedores empieza a enviar un valor de estado que el flujo de trabajo no había recibido antes. Es posible que el informe aún se ejecute, pero ahora esos registros necesitan una decisión antes de que la salida esté lista.
Si estás probando una plataforma para un caso como ese, sigue el valor inesperado a través del flujo de trabajo. Deberías poder llegar a los registros afectados sin convertir la investigación en un proceso secundario independiente. Y si ya se conoce el tratamiento adecuado, esa lógica puede permanecer en el flujo de trabajo para que no tengas que hacer la misma corrección de nuevo la próxima semana.
Si la respuesta aún no se conoce, el flujo de trabajo no debería aparentar lo contrario. Es posible que esos registros deban revisarse antes de que el informe pueda seguir adelante.
Lo que importa aquí es la distancia entre detectar el problema y poder hacer algo útil al respecto. Un flujo de trabajo conectado debería hacer que ese camino sea más fácil de seguir sin pedirte que vuelvas a unir el proceso sobre la marcha.
Si quieres ver cómo Alteryx One maneja este tipo de flujo de trabajo de generación de informes, explora Alteryx One.
Comienza con un informe que tu equipo conozca bien
Probablemente no necesites comenzar con el flujo de trabajo más grande de la empresa. Elige un informe recurrente que tu equipo conozca lo suficientemente bien como para nombrar las partes que suelen causar problemas, luego piensa en los controles que están ahí porque algo salió mal antes.
¿Qué controles todavía dependen de que alguien los recuerde? ¿Qué correcciones siguen apareciendo de nuevo? Si algo grave fallara mañana, ¿el flujo de trabajo sabría lo suficiente como para detenerse o continuaría hasta que alguien lo notara?
Estas preguntas son una forma mucho más eficaz de evaluar una plataforma de calidad de datos que una lista genérica de características. Lo que buscas es una manera de facilitar la repetición de las comprobaciones en las que tu equipo ya confía, sin intentar automatizar las decisiones que todavía requieren la intervención de una persona.
Si quieres poner a prueba ese enfoque, inicia una prueba gratuita de Alteryx One con un informe recurrente que tu equipo ya conoce a la perfección.