Bringen Sie Ihr Data Warehouse auf das nächste Level

Die Vorteile von Cloud Data Warehouses (Cloud-DWHs) im Vergleich zu traditionellen DWHs sind ein viel diskutiertes Thema. Für ein Unternehmen muss der Nutzen der potenziellen neuen Funktionen sicherlich höher sein als der Aufwand, den eine Migration verursacht.

Aber nicht nur der Aufwand der Migration selbst ist ein häufig genanntes Gegenargument. Viele Unternehmen haben noch immer Bedenken bezüglich der Datensicherheit in der Cloud. Um etwas mehr Klarheit und Übersicht über verschiedene Aspekte zu erzeugen, haben wir für Sie in diesem Artikel Vorteile zusammengefasst, verschiedene Herausforderungen diskutiert und teilen Best Practices mit Ihnen. 

Vorteile

Beginnen wir mit der Analyse: Welche Vorteile sind von einer Migration zu erwarten und wurden schon oft erlebt?

1. Geschwindigkeit und Leistung: Mit einem Cloud-DWH können Unternehmen durch die state-of-the-art-Infrastruktur häufig eine wesentliche höhere operationale Geschwindigkeit erreichen. Dank fortschrittlicher Datenbanktechnologien und Algorithmen bieten Cloud-DWHs eine bessere Abfrageleistung im Vergleich zu traditionellen DWHs.
2. Skalierbarkeit nach Bedarf: Mit einem Cloud-DWH haben Unternehmen die Möglichkeit, die DWH-Kapazität bei Bedarf zu erhöhen. Cloud-DWHs können mehrere Bereiche und Aktivitäten (Stichwort Maintenance) zur gleichen Zeit bedienen.
3. Kosteneffizienz: Kunden zahlen in der Regel nur für die Ressourcen, die sie wirklich nutzen, und sparen Geld für Speicherhardware. Darüber hinaus ist es mit SaaS-Modellen sehr einfach und komfortabel, die Infrastruktur zu betreiben. Wartungskosten entfallen, beziehungsweise sind durch den Anbieter abgedeckt.  Bedenken Sie jedoch, dass die Kosten bei wachsender Nutzung allerdings auch höher sein können als zuvor.
4. Einfachere Wiederherstellung: Bei einem Cloud-DWH sind Backup und Speicherung gesichert und Teil des Angeboten. Das spart Zeit und Kosten. 
5. Einfachere Nutzung: Dank einer optimierten Benutzeroberfläche ist es oft einfacher, ein Cloud-DWH zu nutzen. Sie bieten in der Regel eine Vielzahl verschiedener anschließbarer Tools, die die Datenverwendung sehr komfortabel machen. 
   

Unsere Empfehlung für jedes Unternehmen, das über eine Migration in die Cloud nachdenkt, ist es, mit einer Untersuchung aller relevanten Faktoren zu beginnen. Für eine gut geplante und reibungslose Transformation ist es unerlässlich, sich aller folgenden Aspekte bewusst zu sein:

• Welche Infrastruktur nutzen wir derzeit?
• Wie sieht es mit unseren personellen Kapazitäten aus? Sind unsere Mitarbeiter für eine solche Umstellung qualifiziert? Haben sie die nötige Zeit?
• Was wollen wir mit dieser Initiative erreichen? 
  

Wenn diese Voraussetzungen nicht geklärt sind, stehen Organisationen vor verschiedenen Herausforderungen. 

Herausforderungen einer DWH-Migration

Einige der typischsten Herausforderungen bei der Migration von einem oder mehreren On-Premises-DWH zu einem Cloud-DWH sind: 

1. Inkompatibilität: Während der Migration treten unvorhergesehene Lücken zwischen der Cloud-Architektur und den Legacy-Systemen auf. Deren Überbrückung führt zu Verzögerungen.
2. Mangel an Transparenz: Für einen effizienten Migrationsansatz ist es entscheidend, im ersten Schritt Transparenz über die Datenbestände zu schaffen. Einerseits ist die Suche nach fehlenden Informationen über Datenstrukturen und Repositories zeitaufwändig. Ein Verständnis der Abhängigkeiten und des Datenbesitzes gewährleistet im Gegenzug einen effizienten Migrationsprozess. Andererseits kann eine “batch” Migration ohne Berücksichtigung von Strukturen und Abhängigkeiten die Datenverwendung langfristig verhindern und zu einer "Verstopfung" des neuen DWHs führen. Eine transparente Kommunikation der Pipeline trägt dazu bei, dass die Mitarbeiter eine nahtlose Transformation erleben und wie gewohnt weiterarbeiten können. 
3. Fehlendes Fachwissen: Um technische Herausforderungen reibungslos zu meistern, sind ausreichende Erfahrungen und Kenntnisse über das On-Premises-DWH das Cloud-DWH erforderlich. Typische Herausforderungen sind APIs, Sicherheitsfunktionen, Tests und Legacy-Abfragen. 
4. Mangelnde Kontrolle in den verschiedenen Projektphasen: Wenn Unternehmen kein zentrales Monitoring während der Transformation durchführen, kann es leicht zu Wildwuchs in der Cloud kommen. Dies stellt für sämtliche Optimierungsprojekte und Problemlösungen eine enorme Herausforderung dar.
   

Hinweis: Je nach Reifegrad der Daten eines Unternehmens kann es sich finanziell lohnen, Berater zu engagieren. Mit ihrer umfassenden Erfahrung und einem neutralen Blick können sie einen effizienten Migrationsprozess unterstützen. Die Kosten für die Beratung können - wiederum abhängig von der Organisation (!) - geringer sein als die Kosten einer zeitraubenden, frustrierenden und erfolglosen, selbst durchgeführten Transformation. 

Die erste Best Practice, die wir mit Ihnen teilen möchten, ist das alte Sprichwort: Gute Planung ist die halbe Miete. 

‍

Planung einer Cloud-Migration

Nehmen wir an, ein Unternehmen entscheidet sich nach einer ganzheitlichen Analyse aller relevanten Aspekte für ein Cloud-DWH. Die nächste Frage ist, welcher Anbieter am besten zu den Anforderungen des Unternehmens passt. 

Der Cloud-DWH-Markt wird von vier großen Anbietern dominiert: 

• BigQuery von Google
• Redshift von aws
• Synapse von Microsoft Azure
• Snowflake

Aber natürlich gibt es auch spezialisierte und kleinere Anbieter auf dem Markt. Für einen exemplarischen Vergleich haben wir die folgenden Schlüsselkriterien ausgewählt. Diese können Ihnen als Leitfaden oder Orientierung für Ihre eigene Evaluierung dienen. 

Die Schlüsselkriterien sind:

• Preisgestaltung
• Implementierung
• Verfügbare Konnektoren und APIs
• Spezifische Funktionen

Und hier sind die Ergebnisse für Sie zusammengefasst: 

Snowflake

‍

BigQuery by Google

‍

Redshift by aws

‍

Synapse by Microsoft Azure

Hinweis: Eines der wichtigsten Kriterien fehlt hier. Die Leistung ist in den Graphiken nicht enthalten, da sie von Faktoren wie Abfragetyp, Abfragevolumen und dem umgebenden Ökosystem abhängt. Unsere Empfehlung an dieser Stelle ist, Ihre häufigste Abfrage als Basis für einen individuellen Vergleich zu verwenden. In der Regel können Sie auch bei allen Cloud-DWH-Anbietern ein Pilotprojekt oder PoC  für einen kurzen Zeitraum durchführen. Das hilft enorm dabei, Leistungsunterschiede zu erkennen.

Weitere Kriterien, auf die es sich lohnt, einen Blick zu werfen, sind:

• Elastizität
• Ingestion von Streaming-Daten
• Service
• Konfigurierbarkeit
• Sicherheit
• Architektur

‍

Vorbereitung einer Cloud-Migration

Der nächste Schritt auf dem Weg zu einem Cloud-DWH ist die Vorbereitung des Migrationsprozesses. 

Zu diesem Zeitpunkt ist es notwendig, die Abhängigkeiten zwischen den Datenbeständen, die Nutzung, den Status der Elemente sowie die Verantwortlichkeiten und Anwendungen genau zu verstehen. Ein Datenkatalog ist ein leistungsfähiges Tool, um dies zu erreichen: Er hilft, Transparenz über sämtliche Assets wie Tabellen, Views, ETLs, Reports und mehr zu schaffen. Darüber hinaus werden die gewonnenen Erkenntnisse dem gesamten beteiligten Team zur Verfügung gestellt. Auf der Grundlage der gewonnenen Informationen kann die Migration optimal geplant werden. 

Tipp: In der Praxis hat sich ein agiles, iteratives Vorgehen bewährt. Unternehmen migrieren Schritt für Schritt, eine Organisationseinheit nach der anderen. Auf diese Weise können die Erfahrungen aus den Pilotprojekten in die Folgeprojekte einfließen.  

Wie bereits erwähnt, können ungenutzte und veraltete Daten bei der Migration ausgespart werden, um die Effizienz zu steigern. Für eine gute Data Governance bietet ein Katalog die Möglichkeit, sauber zu dokumentieren, wo diese Daten archiviert werden, damit nichts unwiderruflich verloren geht. 

Gestalten Sie den Übergang aktiv

Nicht nur zur Fehlerbehebung oder Problembehandlung ist es wichtig, den Überblick über bereits migrierte Assets und den anstehenden Zeitplan zu behalten. Wir empfehlen dringend eine automatisierte Erfolgskontrolle aller durchgeführten Jobs. Unerwartete Lücken zwischen der alten und der neuen Infrastruktur sind keine Seltenheit und lassen sich - wenn sie rechtzeitig entdeckt werden - leicht beheben. 

Auch hier erleichtert ein zentraler Punkt für die Dokumentation die gemeinsame Arbeit des Teams.  

Zusammenfassung

Der Umstieg auf ein Cloud-DWH ist eine Investition in die Zukunft. Sie ermöglicht sofort mehr Analyseleistung und unterstützt langfristig ein datengetriebenes Unternehmen. Die Migration bedeutet aber auch eine Investition von Zeit und Energie. Deshalb ist es sehr wichtig, dass alle Beteiligten (vom Data Engineer bis zur Managementebene) hinter dem Projekt stehen und sich dafür engagieren. Wie oben beschrieben, ist eine gute Vorbereitung der Schlüssel zu einer erfolgreichen Transformation. Tools wie ein Datenkatalog und z. B. Datenqualitäts-Tools (falls erforderlich) können den gesamten Prozess erheblich erleichtern und beschleunigen.

Nach der erfolgreichen Migration in die Cloud geht es im nächsten Schritt darum, das volle Potenzial eines Cloud-DWHs auszuschöpfen. Von der Optimierung bestehender Prozesse bis hin zur Implementierung neuer Anwendungsfälle geht es darum, durch leistungsfähige Analysen einen Mehrwert zu generieren.

Wenn Sie mehr darüber erfahren möchten, wie Contiamo Sie bei der Migration unterstützen und Ihnen neue Analysemöglichkeiten eröffnen kann, lesen Sie unsere Best Practices für DWH-Migrationen.