Sie wissen, dass der Bericht letzten Monat funktioniert hat: Niemand hat die Berechnungen geändert, der Workflow läuft weiterhin fehlerfrei, und dennoch sieht die Zahl auf dem Dashboard irgendwie falsch aus.
Also gehen Sie der Sache auf den Grund und entdecken schließlich die Ursache: Ein neuer Kategoriewert ist aufgetaucht und wurde nie zugeordnet, eine Quelle kam zu spät oder eine Verknüpfung, die monatelang einwandfrei funktionierte, erzeugt plötzlich zusätzliche Zeilen.
Wenn Sie schon länger für wiederkehrende Analysen verantwortlich sind, kennen Sie den Ablauf. Das Problem zu finden, erfordert möglicherweise etwas Recherche, aber der frustrierendere Teil ist die Erkenntnis, dass Sie bereits eine Version dieses Problems gelöst haben – und dass die Kontrollmaßnahme, die den Fehler hätte aufdecken können, lediglich in Ihrem Kopf existiert.
Sie müssen mehr dieses Wissens fest in den Prozess integrieren, damit Probleme früher erkannt werden. So vermeiden Sie es, kurz vor der Veröffentlichung des Berichts unter Zeitdruck den gesamten Workflow noch einmal durchforsten zu müssen.
Beginnen Sie mit dem, was für diesen Bericht zutreffen muss
Für die Berichterstattung beginnt Datenqualität damit, was Sie von den Daten erwarten. Dasselbe Dataset kann für eine Analyse perfekt geeignet und für eine andere falsch sein, daher bringt Sie eine universelle Checkliste für „gute Daten“ nur bedingt weiter.
Wie Gartner anmerkt: „Tools für die Datenqualität existieren nicht isoliert.“ Entscheidend ist, wie gut sie die Analyse- und Berichtsprozesse unterstützen, die Sie erledigen müssen.
Nehmen wir als Beispiel einen monatlichen Finanzbericht: Hier können die Prüfschritte sehr konkret ausfallen:
- Sind alle erwarteten Quelldateien eingetroffen?
- Enthält der Extrakt den vollständigen Berichtszeitraum?
- Stimmen die Summen mit dem von Ihnen erwarteten Kontrollwert überein?
- Sind neue Kostenstellen ohne Zuordnung aufgetaucht?
- Weisen die Daten noch den erwarteten Detaillierungsgrad auf – zum Beispiel eine Zeile pro Rechnung?
Wechseln Sie zu einem anderen Workflow, ändern sich die Prüfungen entsprechend. In einem Kundensegmentierungs-Workflow können doppelte Entitäten oder die Qualität des Abgleichs eine weitaus größere Rolle spielen. Bei einem operativen Dashboard ist es möglicherweise wichtiger, ob die heutigen Daten zum erwarteten Zeitpunkt verfügbar waren.
Deshalb sind „saubere Daten“ kein besonders nützliches Ziel. Ein Datum kann korrekt formatiert sein und dennoch zum falschen Monat gehören, während zwei Quelltabellen für sich genommen in Ordnung aussehen können, bis die Verknüpfung zwischen ihnen Duplikate erzeugt.
Wahrscheinlich haben Sie bereits einen Prozess zur Datenqualität
Wenn Sie denselben Bericht schon eine Weile ausführen, haben Sie wahrscheinlich eine Sammlung von Prüfungen aufgebaut, ohne sich jemals hingesetzt und sie als „Datenqualitätsprozess“ bezeichnet zu haben. Einige befinden sich im Workflow, andere finden in Excel statt, und wieder andere basieren auf Erfahrungen aus der Vergangenheit, etwa weil eine Datenquelle vor einigen Berichtszyklen für eine unerwartete Überraschung gesorgt hat.
Währenddessen achtet vielleicht jemand anderes in Ihrem Team auf ein völlig anderes Problem, weil er damit bereits schlechte Erfahrungen gemacht hat. So entsteht mit der Zeit eine Aufteilung zwischen den fest im Workflow verankerten Prüfungen und jenen, die die Mitarbeiter:innen eigenständig und zusätzlich durchführen. Wenn sich die Daten ändern und neue Probleme auftreten, werden weitere Prüfungen hinzugefügt.
Sie benötigen keine Software, die jede Entscheidung für Sie trifft. Hilfreich ist es jedoch, wiederkehrende Prüfungen fest in den Prozess zu integrieren, damit sie auch bei Eingang neuer Daten zuverlässig durchgeführt werden.
Profilierung hilft Ihnen, Regeln nicht im luftleeren Raum aufzustellen
Angenommen, Sie müssen entscheiden, ab welcher Anzahl fehlender Werte ein Feld als auffällig markiert werden soll. Ein Schwellenwert ist aussagekräftiger, wenn Sie wissen, wie sich das Feld normalerweise verhält: Ein Abfall der Vollständigkeit von 99,9 % auf 94 % ist etwas ganz anderes als bei einem Feld, dessen Wert schon immer bei etwa 90 % lag.
Dasselbe kann Ihnen auch bei der Eindeutigkeit passieren. Bevor Sie die Eindeutigkeit der Rechnungs-ID voraussetzen, stellen Sie sicher, dass der Workflow in diesem Stadium noch eine Zeile pro Rechnung enthält; andernfalls riskieren Sie eine Prüfung, die so häufig ausgelöst wird, dass sie von den Beteiligten kaum noch beachtet wird.
Wenn Sie Plattformen vergleichen, sehen Sie, wie schnell Ihnen Datenprofilierung dabei hilft, den Kontext hinter einer Regel zu verstehen. In sechs Monaten sollten Sie oder eine andere Analystin immer noch nachvollziehen können, warum ein Schwellenwert existiert, anstatt eine Zahl zu übernehmen, bei der sich niemand mehr daran erinnert, warum sie gewählt wurde.
Die sinnvollsten Prüfungen sind oft die, die Sie bereits durchführen
Sie haben wahrscheinlich eine gedankliche Liste, die Sie durchgehen, bevor ein Bericht versendet wird. Vielleicht prüfen Sie immer, ob der aktuelle Monat vorhanden ist, oder Sie wissen, dass eine bestimmte Verknüpfung einen zweiten Blick wert ist, da sie in der Vergangenheit bereits zu zusätzlichen Zeilen geführt hat.
Das sind die Prüfungen, die es wert sind, in eine wiederholbare Datenvalidierung umgewandelt zu werden, insbesondere wenn ein geschäftlicher Grund dahintersteht. „Dieses Feld darf nicht Null sein“ ist nützlich, aber „Jede aktive Filiale benötigt eine Region, bevor der Verkaufsbericht erstellt wird“ erklärt der nächsten Person, warum die Prüfung existiert und wovor sie schützt.
Eine fehlgeschlagene Datenqualitätsprüfung ist erst der Anfang
Nehmen wir an, es ist später Nachmittag und Ihre Vollständigkeitsprüfung schlägt Alarm. Gut, Sie haben ein Problem entdeckt – aber jetzt müssen Sie herausfinden, was passiert ist. Vielleicht fehlt nur eine Handvoll Datensätze; vielleicht ist es ein großer Teil der Daten. So oder so müssen Sie wissen, ob das Problem in der Quelle oder irgendwo im Workflow entstanden ist.
Wenn die Plattform Ihnen nur „Qualitätsfehler“ ausgibt, müssen Sie die Detektivarbeit weiterhin selbst erledigen. Achten Sie beim Vergleich von Plattformen darauf, wie schnell Sie bei einer fehlgeschlagenen Prüfung zu den dahinterliegenden Datensätzen gelangen. Wenn der Bericht in einer Stunde fällig ist, ist dieser Pfad weitaus wichtiger als ein ausgefeilter Statusbildschirm.
Vielleicht wurden 30 Transaktionen ohne eine gültige Zuordnung verarbeitet. Wenn Ihr nächster Schritt darin besteht, diese Datensätze zu exportieren, sie an anderer Stelle zu korrigieren und sie wieder in den Berichts-Workflow einzubinden, haben Sie das Problem zwar gefunden, aber die Handhabung nicht wesentlich vereinfacht.
Manchmal ist diese Übergabe sinnvoll, weil ein anderes Team für die Entscheidung verantwortlich ist. Wenn die Geschäftslogik jedoch bei Ihrem Team liegt, prüfen Sie, wie viel der Untersuchung und Nachverfolgung Sie erledigen können, ohne den Workflow zu verlassen.
Was Sie als Nächstes tun, hängt davon ab, was fehlgeschlagen ist
„Fehlerhafte Daten finden“ klingt simpel, bis man vor einer echten Ausnahme steht. Vielleicht taucht ein neuer Produktcode auf, für den es in Ihrer Zuordnungstabelle keine Entsprechung gibt. Sie können sehen, welche Datensätze betroffen sind, aber die Plattform kann nicht wissen, ob dieses Produkt zu „Consumer“, „Enterprise“ oder einer Kategorie gehört, die das Unternehmen erst gestern erstellt hat.
Andere Probleme sind einfacher, da die Entscheidung bereits getroffen wurde. Wenn eine Datenquelle mal „N.Y.“ und mal „New York“ liefert, man sich aber auf einen Standard geeinigt hat, kann die Datenbereinigung automatisch die entsprechende Korrektur vornehmen, ohne dass Sie sich jeden Monat erneut damit befassen müssen.
Deshalb ist das Kriterium „automatische Korrektur fehlerhafter Daten“ beim Vergleich verschiedener Plattformen wenig aussagekräftig. Für manche Probleme gibt es eine feste Antwort. Andere erfordern weiterhin Ihr Urteilsvermögen. Und wenn eine kritische Quelle fehlt, ist es möglicherweise die richtige Entscheidung, den Bericht zu stoppen, bevor er weiterverarbeitet wird.
Sie entscheiden immer noch, wie die jeweilige Art von Fehler zu bewerten ist. Was Sie von der Plattform erwarten, ist eine Möglichkeit, die Entscheidungen, die Sie bereits getroffen haben, einfacher zu wiederholen.
Vergleichen Sie Plattformen mit einem Workflow, den Sie bereits kennen
Funktionsübersichten können sehr unterschiedliche Datenqualitätsplattformen seltsam ähnlich aussehen lassen. Profilierung, Regeln, Überwachung, Automatisierung – die meisten Anbieter können auf etwas in jeder Spalte verweisen, aber die Liste verrät Ihnen nicht, wie es an einem Freitagnachmittag aussieht, wenn die Zahlen nicht übereinstimmen.
Bringen Sie stattdessen einen echten Workflow in die Evaluierung ein, vorzugsweise einen, den Ihr Team gut kennt und der bereits eine gewisse Historie hat. Ein Bericht, der noch eine manuelle Abstimmung erfordert oder einen Schritt enthält, den jeder zur Sicherheit noch einmal überprüfen muss, verrät Ihnen weitaus mehr als makellose Demodaten. Sie sehen, wie die Plattform die Art von Arbeit bewältigt, die Ihr Team in einer normalen Woche zu erledigen hat, und nicht nur das Beispiel, für das sie entwickelt wurde.
Testen Sie die Regeln, auf die sich Ihr Bericht tatsächlich stützt
Die Prüfungen, auf die Sie sich verlassen, gehen in der Regel über eine grundlegende Validierung auf Feldebene hinaus. Vielleicht müssen Sie sicherstellen, dass jeder Standort, der in diesem Monat Umsätze erzielt hat, einer Region zugeordnet ist. Oder vielleicht ist das Problem, auf das Sie achten müssen, eine Verknüpfung, die manchmal zusätzliche Zeilen erstellt. Ihre Regeln sollten die Faktoren widerspiegeln, die den Bericht beeinträchtigen können, und nicht nur, ob die Felder eine grundlegende technische Prüfung bestehen.
Verwenden Sie die Regeln, auf die sich Ihr Team in der Praxis verlässt. Wenn sie umständlich zu erstellen oder für eine andere Analystin schwer zu verstehen sind, sollten Sie aufmerksam werden. Wichtige Prüfungen wandern oft zurück in Tabellenkalkulationen oder individuelle Routinen vor der Veröffentlichung, wenn die Plattform nur die einfachen Fälle reibungslos bewältigt.
Klare, wiederverwendbare Prüfungen erleichtern zudem Übergaben. Der Analyst, der den Workflow übernimmt, erkennt sofort, worauf zu achten ist, ohne sich erst in einer halbstündigen Einweisung mit allen Eigenheiten vertraut machen zu müssen, die der Bericht „gelegentlich an den Tag legt“.
Provozieren Sie einen Fehler und beobachten Sie, wie die Plattform sich verhält
Eine Demo verrät Ihnen viel mehr, wenn die Daten etwas unübersichtlich werden. Lassen Sie eine Eingabe weg, von der Sie wissen, dass der Workflow sie benötigt, oder fügen Sie einen Wert hinzu, der nicht mit der bestehenden Logik übereinstimmt. Wenn Zusammenführungen zuvor Probleme verursacht haben, verwenden Sie einen Testfall, der die gleiche Art von doppelten Zeilen erzeugt.
Verfolgen Sie dann das Problem und sehen Sie, wie schnell Sie von der fehlgeschlagenen Prüfung zu den zugrunde liegenden Datensätzen gelangen können. Zudem ist es wichtig zu wissen, ob der Workflow je nach Fehlerursache unterschiedlich reagiert – etwa indem er bei einer fehlenden Datenquelle stoppt, aber einen unsicheren Treffer zur manuellen Prüfung weiterleitet.
Vorbereitete Demodaten können fast alles reibungslos aussehen lassen. Ein Testfall, der sich fehlerhaft verhält, vermittelt Ihnen ein viel besseres Gefühl dafür, wie sich die Nutzung der Plattform anfühlt, wenn die echten Daten dasselbe tun.
Wo sich Datenqualitätsprobleme im Reporting häufig zeigen
Wenn Sie bei der Datenberichterstattung angelangt sind, steht jemand kurz davor, die Ergebnisse zu verwenden – und genau dann ist ein Qualitätsproblem viel schwerer zu ignorieren.
Ein Dashboard kann sich einwandfrei aktualisieren, obwohl der letzte Berichtszeitraum fehlt, da die Visualisierung genau das tut, was ihr aufgetragen wurde; der Workflow hat lediglich nie überprüft, ob die erwarteten Daten vorhanden waren.
Auch bei einer Verknüpfung kann man in eine ähnliche Falle tappen. Beide Eingaben sehen für sich genommen möglicherweise in Ordnung aus, aber wenn sich die Beziehung zwischen ihnen ändert, können plötzlich zusätzliche Zeilen in nachgelagerten Prozessen entstehen. Wenn Sie pro Rechnung genau eine Zeile erwarten, verrät Ihnen die Überprüfung direkt nach der Verknüpfung weitaus mehr, als wenn Sie lediglich bestätigen, dass beide Quelltabellen sauber aussahen.
Manchmal sind die Daten an sich völlig korrekt, aber die Logik Ihres Berichtswesens ist noch nicht darauf ausgelegt. Vielleicht taucht ein neuer Vertriebskanal auf, für den es in den aktuellen Kategorien der Berichterstattung keinen Platz gibt. Der Wert ist nicht falsch. Er erfordert lediglich eine Entscheidung, bevor der Bericht bereit ist.
Wann eine dedizierte Plattform für Datenqualität oder Observability sinnvoller ist
Manchmal lösen Sie ein größeres Problem als nur die Frage, ob ein Berichts-Workflow einsatzbereit ist. Wenn Ihr Team die Qualität über eine umfangreiche Datenlandschaft hinweg überwachen oder ein Monitoring unterstützen muss, das stärker im Bereich Data Engineering angesiedelt ist, könnte eine dedizierte Plattform für Datenqualität oder Data Observability die bessere Wahl sein.
Wenn die meisten Probleme jedoch erst nach einer fehlgeschlagenen Prüfung auftreten, sollten Sie genau darauf achten, was als Nächstes geschieht. Sie möchten wissen, ob Sie auf die betroffenen Datensätze zugreifen, das Problem beheben und den Workflow fortsetzen können, ohne die Daten durch einen weiteren Prozess schicken zu müssen.
Dies sind unterschiedliche Anforderungen. Wenn Ihre Priorität auf einer umfassenden Überwachung im gesamten Unternehmen liegt, sollten Sie dies bei Ihrer Evaluierung berücksichtigen. Wenn Ihr Team mehr Zeit damit verbringt, fehlgeschlagenen Prüfungen in Berichts-Workflows nachzugehen, achten Sie stärker darauf, wie einfach Sie das Problem beheben können, ohne den Workflow zu zerlegen.
So sieht ein vernetzter Analytics-Workflow in der Praxis aus
Nehmen Sie einen wöchentlichen Bestandsbericht, bei dem ein Lieferant beginnt, einen Statuswert zu senden, den der Workflow zuvor noch nicht gesehen hat. Der Bericht wird möglicherweise weiterhin ausgeführt, aber für diese Datensätze ist jetzt eine Entscheidung erforderlich, bevor die Ausgabe bereit ist.
Wenn Sie eine Plattform anhand eines solchen Falls testen, verfolgen Sie den unerwarteten Wert durch den Workflow. Sie sollten in der Lage sein, auf die betroffenen Datensätze zuzugreifen, ohne die Untersuchung in einen separaten Nebenprozess zu verwandeln. Und wenn die richtige Vorgehensweise bereits bekannt ist, kann diese Logik im Workflow verbleiben, sodass Sie dieselbe Korrektur nächste Woche nicht erneut vornehmen müssen.
Wenn die Antwort noch nicht bekannt ist, sollte der Workflow nichts anderes vortäuschen. Diese Datensätze erfordern möglicherweise eine Überprüfung, bevor der Bericht weitergeleitet wird.
Hier kommt es auf den Abstand zwischen dem Erkennen des Problems und der Fähigkeit an, sinnvoll darauf zu reagieren. Ein vernetzter Workflow sollte diesen Pfad leichter nachvollziehbar machen, ohne dass Sie den Prozess zwischendurch mühsam wieder zusammensetzen müssen.
Wenn Sie sehen möchten, wie Alteryx One diese Art von Berichts-Workflow handhabt, erkunden Sie Alteryx One.
Beginnen Sie mit einem Bericht, den Ihr Team gut kennt
Sie müssen wahrscheinlich nicht mit dem umfangreichsten Workflow im Unternehmen beginnen. Wählen Sie einen wiederkehrenden Bericht aus, bei dem Ihr Team genau weiß, welche Teile häufig Probleme bereiten, und überlegen Sie dann, welche Prüfschritte vorhanden sind, weil in der Vergangenheit bereits Fehler aufgetreten sind.
Welche Prüfungen hängen noch davon ab, dass sich jemand daran erinnert? Welche Korrekturen müssen immer wieder vorgenommen werden? Wenn morgen ein schwerwiegender Fehler aufträte, würde der Workflow dies erkennen und stoppen, oder würde er einfach weiterlaufen, bis es jemandem auffällt?
Diese Fragen sind ein weitaus besserer Test für eine Datenqualitätsplattform als eine allgemeine Checkliste für Funktionen. Es geht darum, die bereits bewährten Prüfschritte Ihres Teams einfacher wiederholbar zu machen – ohne zu versuchen, Entscheidungen zu automatisieren, die weiterhin menschliches Urteilsvermögen erfordern.
Wenn Sie diesen Ansatz testen möchten, starten Sie eine kostenlose Testversion von Alteryx One mit einem wiederkehrenden Bericht, den Ihr Team bereits in- und auswendig kennt.