ETLs schnell und kollaborativ erstellen

1. Transparenz über vorhandene Daten erhalten

Die Erstellung von ETLs gestaltet sich häufig als mühsamer und herausfordernder Prozess. Die generelle Grundlage für Data Engineering liegt in den verfügbaren Daten. Häufig ist in der Praxis allerdings unklar, wo sich die benötigten Daten für Anfragen aus den Fachabteilungen überhaupt befinden - eventuell liegen Sie ja bereits im Datawarehouse (DWH) vor? 

Der erste Schritt für mehr Kollaboration bei der Arbeit mit ETLs ist daher immer die Verbesserung der Transparenz. Mit einem geeigneten Datenkatalog können Engineering-Teams einen vollständigen und gezielt durchsuchbaren Überblick über alle Daten erhalten. Diese Übersicht beinhaltet dann neben dem DWH idealerweise auch die Strukturen in den Quellsystemen und eingesetzte Tools. Wir raten für eine nachhaltigere Transparenz immer dazu, so viel wie möglich zu automatisieren. Das "up-to-date"-Halten des Katalogs darf nur so wenig Aufwand wie nötig bedeuten. Moderne Tools lassen sich mit der nötigen Erfahrung meist unkompliziert mit Datenkatalogen verknüpfen und synchronisieren.

2. Den idealen Stack zusammenstellen

Nach einer Inventur (Best Practice 1) wissen Ihre Datenteams jetzt klar, welche Tools und Möglichkeiten bereits vorhanden sind und welche noch fehlen. Außerdem gewinnen sie ein klares Bild, in welchen Bereichen Kollaboration gut funktioniert und wo sie verbessert werden soll. Diese Klarheit ist essentiell, um den Stack anschließend mit den fehlenden Komponenten anzureichern und das Ziel von mehr Kooperation zu erreichen.

Welche Tools für den individuellen Use Case am geeignetsten sind, gilt es nun kritisch zu evaluieren. Wichtige Kriterien sind:

• Verfügbare Schnittstellen zu Datenquellen

• Verfügbare Schnittstellen zu Datenempfängern

• Umfang und Komplexität des Berechtigungsmanagements

• Gewünschte Kollaborationsfunktionen (z.B. Integrationen zu MS Teams, Slack, Kommentarmöglichkeiten, etc.)
  

Wenn Sie Fragen haben, welcher Stack für Sie ideal ist, schreiben Sie uns gern!

3. Denken Sie tool-übergreifend

Den Best practice Nr. 2 weitergedacht, empfehlen wir, bei der Zusammenstellung des Stacks “groß” zu denken. Kollaboration findet nicht nur in einem isolierten Tool statt, sondern in mehreren. Zwei gute Beispiele für Prozesse, die tool-übergreifende Kollaboration ermöglichen sind Dokumentation und die Etablierung eines Businessglossars.

Niemand würde leugnen, dass Dokumentation wichtig ist und doch sind fehlende Dokumentation ein sehr häufig vorkommendes Problem. Insbesondere an Schnittstellen zwischen Tools ist es hilfreich, einsehen zu können, was zuvor geschah. Einige Tools bieten die Möglichkeit, automatisch eine Dokumentation zu erstellen - diese sind eine großartige Unterstützung. Grundsätzlich empfehlen wir, eine einheitliche, simple Struktur für Dokumentationen zu etablieren. 

Ein Businessglossar, meist Bestandteil eines Datenkataloges, bildet die Verknüpfung zwischen der fachlichen und der technischen Welt. Sowohl für die Zusammenarbeit mit Fachbereichen beim Bauen neuer Pipelines als auch für die Nachvollziehbarkeit bei Pipelinereparaturen kann das enorm hilfreich sein.

4. Setzen Sie auf Automatisierung

Viele Unternehmen haben verschiedene Tools rund um die Erstellung von ETLs im Einsatz. Um nahtlos zusammenarbeiten zu können, auch über verschiedene Abteilungen hinweg, ist es wichtig, diese Tools an einem zentralen Ort zusammen zu bringen. Binden Sie unbedingt sämtliche Lösungen an Ihren Datenkatalog an und halten Sie diese automatisch synchronisiert! Bei manuellen Synchronisationen erleben wir sehr häufig, dass Probleme zu lange unerkannt bleiben, beziehungsweise diese wegen des Aufwandes nicht nachgehalten werden können.