In den meisten Data Warehouse-Projekten spielen Datenzulieferungen des Fachbereichs eine grosse Rolle. Dies sind häufig kritische Steuerungsparameter für die Verarbeitung. Die Zulieferung erfolgt oft in der Form von MS Excel oder daraus extrahierten csv-Dateien. Dieses - gerne auch als "Excel-Weitwurf" bezeichnete Verfahren führt zu diversen Problemen:

• Probleme mit Datenformaten

  • Die Spracheinstellungen des Computers, mit dem die Daten erfasst werden, beeinflusst das Format der Daten. Dies betrifft Datumswerte und Zahlen (der  31. Dezember 2022 kann als  "31.12.2022", aber auch als  "12/31/2022" gespeichert werden. Zahlen können statt eines Dezimalkommas Dezimalpunkte sowie ggf. Tausendertrennzeichen  enthalten).

  • Anwender können versehentlich die Struktur der Daten verändern, z.B. durch Einfügen von Kommentarspalten oder -zeilen.

• Ungültige Daten
  • In einem Excel-Sheet ist es schwierig, eingegebene Daten auf korrekte Formate zu prüfen - es können versehentlich ungültige Zahlen (z.B. 123Q) und Datumswerte erfasst werden.

  • In den meisten Fällen können die Daten bei der Erfassung nicht auf Datenintegrität geprüft werden - dadurch können ungültige Werte erfasst werden wie z.B. nicht existente Abteilungsnummern. 

• Keine Nachvollziehbarkeit der Änderungen
  • Bei kritischen Daten muss ggf. aus aufsichtsrechtlichen Gründen ein Verfahren implementiert werden, um nachzuhalten, wer welche Daten wann verändert hat.
  • 4-Augen Prinzip zur Freigabe kritischer Daten kann erforderlich sein
• Unstabile, fehleranfällige Verarbeitungsprozesse
  • Formal oder inhaltlich fehlerhafte Daten können zu Verarbeitungsabbrüchen oder - schlimmer noch - zur Verarbeitung ungültiger Daten führen
  • Erfolgt die Verarbeitung der zugelieferten Daten verzögert (z.B. in nächtlichen Batchläufen) erhält der Erfasser ein Feedback über fehlerhafte Daten nicht direkt bei der Erfassung - damit entsteht ein Zeitverlust, der bei zeitkritischen Abläufen problematisch ist.

Die Lösung

Verwenden Sie  "Fast Edit" von Apparo Solutions (c) statt Excel.

Fast Edit ist eine preiswerte, web-basierte Anwendung, über die Daten auf verschiedene Arten erfasst werden können

• Manuelle Eingabe über ein Web Front End mit der Option, grosse Datenmengen über die Zwischenablage aus Excel direkt zu übernehmen

• Automatisches Verarbeiten von Excel-Dateien, die per Mail verschickt werden

• Automatisches Verarbeituen von Daten, die in dedizierten Ablageorten gespeichert sind

 

Die Daten werden direkt in einer Relationalen Datenbank gespeichert (z.B. Oracle, DB2 oder MS SQL) inklusive

• Prüfung auf formal korrekte Dateninhalte (Datentypprüfung)
• Mögliche Prüfung auf Referentielle Integrität 
• Mögliche Prüfung auf vorgegebene Wertebereiche
• 4-Augenprinzip
• Änderungsverfolgung (über spezielle Audit-Tabellen oder als Slowly Changing Dimension Typ 2)

 

Die Verwendung von Fast Edit bietet viele Vorteile

• Verhinderung des Verarbeitens fehlerhafter Daten im  Data Warehouse

• Fehlermeldungen erfolgen direkt ei der Datenerfassung - kein Zeitverlust mehr

• Die Speicherung in einer relationalen Datenbank ermöglicht ein direktes Verarbeiten der Daten im Beladungsprozess ohne Umweg über Dateien

• Revisionssicherheit (wer hat welche Daten erfasst / geändert inklusive Art und Zeitpunkt der Änderung)

• 4 Augen Prinzip ist umsetzbar

• Es sind viele weitere Anwendungsszenarien denkbar   - ich habe z.B. bei einem Versicherungskunden ein komplexes Werkzeug für revisionssichere Datenkorrekturen mit  Fast Edit implementiert.

 

Ausführliche Informationen zu Fast Edit finden Sie hier.