Überblick
Die Fähigkeit, Daten effizient zu verarbeiten, zu sammeln und zu analysieren, ist in den letzten Jahren nur noch wertvoller geworden. Cloud Data Warehousing ermöglicht es großen Organisationen, diesen Bedarf mit erheblicher Agilität, Effektivität und Geschwindigkeit zu erfüllen. Gartner hat prognostiziert, dass bis 2022 75 % aller Datenbanken in die Cloud migriert oder zunächst dort bereitgestellt werden.
Alle verfügbaren Belege deuten darauf hin, dass die Datennutzung in Unternehmen weiter steigen wird und die Arten der verbreiteten Daten sowie deren Quellen vielfältiger werden. Diese sich entwickelnde Datenvielfalt erfordert einen flexiblen Ansatz, der möglicherweise außerhalb des Rahmens traditioneller Data-Warehousing-Methoden liegt, und genau hier kommt die Cloud ins Spiel.
On-Premises-Infrastruktur bietet weiterhin Wert für Data Warehousing, aber das cloud-first-Datawarehouse, einschließlich hybrider Umgebungen, ist schnell zur Norm geworden. Trends deuten darauf hin, dass sich dieser Wandel fortsetzen wird. Werfen wir einen Blick auf die Grundlagen dieser Technologie und untersuchen, wie man am besten eine Cloud-Data-Warehousing-Lösung für Ihr Unternehmen bewertet und implementiert.
Was ist Cloud Data Warehousing und wie funktioniert es?
Ein Cloud-Data Warehouse übernimmt alle Funktionen, die man von einem traditionellen Data Warehouse erwarten würde, wie Datenverarbeitung, Zusammenstellung, Integration, Bereinigung, Laden und Berichterstattung. Dies jedoch in einer öffentlichen Cloud-Umgebung. Beispiele sind Microsoft Azure SQL Data Warehouse, Amazon Redshift, Teradata Autonomous Knowledge Platform, Google Clouds BigQuery und Snowflake Cloud Data Platform.
Wie sein On-Premises-Pendant ist ein in der Cloud bereitgestelltes Enterprise Data Warehouse typischerweise eine relationale Datenbank, die sich auf strukturierte und semi-strukturierte Daten konzentriert. Diese Art sieht man in verschiedenen Customer Relationship Management (CRM), Enterprise Resource Planning (ERP) und Point-of-Sale-Anwendungen, um nur einige zu nennen. Unstrukturierte Daten werden hingegen typischerweise über ein Data-Lake-Framework aggregiert, das ebenfalls cloudbasiert sein kann.
Auf der detailliertesten Ebene wird der Großteil der in einem Warehouse gespeicherten Daten entweder als Fakten, Messgrößen oder Dimensionen charakterisiert:
- Fakten: Datenpunkte, die mit bestimmten Ereignissen oder Transaktionen verbunden sind, z. B. "Entschädigte Mitarbeiter John Smith 4.000 $ für den Monat mit einem Bruttogehalt von 48.000 $ pro Jahr."
- Maße: Genaue Zahlen, die mit Fakten verbunden sind – basierend auf dem obigen Beispiel wäre eine der Maßnahmen "Monatliche Bezahlung: 4.000 Dollar."
- Maße: Diese kategorisieren Fakten und Messgrößen mit strukturierteren kontextuellen Informationen, wie "Mitarbeitername: John Smith" und "Direktüberweisungsdaten: 15. und 30. November."
Eine Cloud-Datenbank zeichnet sich durch ihre Vielseitigkeit aus und kann daher leicht multidimensional sein. Neben ihrer Fähigkeit, viele Dimensionen sowohl aktueller als auch historischer Big Data in einem einzigen Veranstaltungsort einfach zu verwalten, kann eine moderne Cloud-Datenbank auf serverloser Architektur arbeiten, was dazu beiträgt, die Datenmanagement-Aufgaben eines Unternehmens zu minimieren. Alternativ können Cloud-Datenbanken den Cluster-und-Knoten-Ansatz verwenden, bei dem zwei oder mehr physische Server verwendet werden.
Traditionelle vs. Cloud-Architektur
Traditionelle Unternehmens-Datawarehouses nutzen lokale Mehrstufe-Architekturen, in denen Organisationen ihre eigene Hardwarebereitstellung, -speicherung und Rechenressourcen verwalten. Daten fließen durch mehrere Schichten, bevor sie für Berichterstattung und Analysen verfügbar sind.
Die meisten traditionellen Lagerhausarchitekturen folgen einer dreistufigen Struktur. Am Boden befindet sich die Datenbankschicht, die Daten aus operativen Systemen und anderen Quellen sammelt. Die mittlere Ebene enthält Online-Analyseverarbeitungsdienste (OLAP), die Daten für die Analyse transformieren und organisieren. Auf der obersten Ebene bieten Berichts- und Analysetools Dashboards, Visualisierungen und Abfrageschnittstellen für Geschäftsanwender.
Traditionelle Einrichtungen reichen von zentralisierten Unternehmenslagern, die geschäftsweite Daten aggregieren, bis hin zu abteilungsspezifischen Datenmärkten oder virtuellen Warehouses, die mehrere Datenbanken gleichzeitig abfragen.
Cloud-Datawarehouses verfolgen einen anderen Ansatz. Anstatt auf feste Infrastruktur zu setzen, nutzen Cloud-Data-Warehouses elastische Cloud-Plattformen, sodass Organisationen ihre Rechen- und Speicherkapazität dynamisch skalieren können, parallel zu wachsendem Datenvolumen. Cloud-Deployments lassen sich typischerweise in zwei große architektonische Muster einteilen: clusterbasierte Systeme, die mehrere Knoten zur Abfrageverarbeitung verwenden, und serverlose Systeme, bei denen der Cloud-Anbieter Rechenressourcen dynamisch verwaltet.
Ein weiterer wesentlicher Unterschied zwischen traditionellem und Cloud-Data-Warehousing liegt darin, wie die Infrastruktur zwischen den Kunden geteilt oder isoliert wird. Cloud-Anbieter bieten häufig mehrere Tenancy-Modelle an, die Leistung, Kosteneffizienz und operative Kontrolle in Einklang bringen.
| Einsatzmodell | Architekturbeschreibung | Leistungsmerkmale | Kostenprofil | Level of Control | Typische Anwendungsfälle |
|---|---|---|---|---|---|
| Single-Tenant Cloud Data Warehouse | Dedizierte Infrastruktur für eine einzelne Organisation. Rechen- und Speicherressourcen werden nicht mit anderen Kunden geteilt. | Hohe und konstante Leistung aufgrund isolierter Ressourcen und vorhersehbarer Arbeitslasten. | Höhere Kosten, weil die Infrastruktur für einen Mieter reserviert ist. | Maximale Kontrolle über Konfiguration, Sicherheitsrichtlinien und Ressourcenzuteilung. | Stark regulierte Branchen, sensible Arbeitslasten und Unternehmen, die strenge Leistungsisolation erfordern. |
| Multi-tenant Cloud-Datenlager | Mehrere Organisationen teilen sich dieselbe zugrunde liegende Infrastruktur, die vom Cloud-Anbieter verwaltet wird. | Die Leistung kann je nach Ressourcenzuweisung und Arbeitslastverteilung zwischen den Mietern variieren. | Niedrigere Kosten durch gemeinsame Infrastruktur und Skaleneffekte. | Begrenzte Kontrolle, da das Infrastrukturmanagement hauptsächlich vom Anbieter übernommen wird. | Organisationen legen Wert auf Kosteneffizienz, schnelle Bereitstellung und vereinfachte Abläufe. |
| Hybrides Cloud-Datenlager | Kombiniert dedizierte Ressourcen mit gemeinsamen Cloud-Diensten oder integriert On-Premises-Infrastruktur mit Cloud-Umgebungen. | Ausgeglichene Leistung, je nachdem, welche Workloads auf dedizierter oder gemeinsamer Infrastruktur laufen. | Flexible Kostenstruktur, die es Organisationen ermöglicht, die Ausgaben über verschiedene Umgebungen hinweg zu optimieren. | Mäßige bis hohe Kontrolle, abhängig vom Deployment-Design und der Integration mit bestehenden Systemen. | Unternehmen, die von On-Premises-Systemen migrieren oder gemischte Arbeitslasten ausführen, erfordern sowohl Kontrolle als auch Skalierbarkeit. |
Vorteile der Nutzung von Cloud-Data-Warehousing für Analysen
Das Sammeln und Zusammenfassen all dieser Gigabyte (und schließlich Terabyte) an Daten dreht sich nicht um Speicher oder Betrieb. Die daraus entstehenden Erkenntnisse können die Grundlage für strategische Entwicklung sein, die Wachstum und den Gewinn vorantreiben – und sie müssen mit Analysetools freigeschaltet werden.
Datenanalysen durchzuführen und auf einem Data Warehouse zu berichten, das über eine Cloud-Lösung gehostet wird, unterscheidet sich stark davon, dieselben Aufgaben für ein On-Premises-Warehouse zu erledigen. Tatsächlich ist es derzeit einer der spannendsten cloud-computing-trends in der Unternehmenswelt.
Ein Cloud-Data Warehouse bietet kosteneffiziente Skalierbarkeit und Elastizität für Analyse-Workloads über Einzel-, Multi-Cloud- oder hybrid-deployments. Abfragen laufen schneller als in einem On-Premises-Warehouse, zu geringeren Gesamtkosten aufgrund des fehlenden Hardware-Overheads.
Mit der richtigen Datenanalyse-Engine für die Cloud können Sie Ihrer Organisation die Flexibilität geben, Algorithmen so ausgefeilt zu entwickeln und umzusetzen, wie es Ihre Umstände erfordern, und dabei die Programmiersprachen verwenden, die Sie kennen, wie SQL, Python, SAS und R. Skalierbare Analysen bringen in diesem Zusammenhang fortschrittliche Machine-Learning-Prozesse, Clustering und Segmentierung, Sentiment-Parsing, Textextraktion, Grafiken sowie geospatiale oder Zeitreihenanalysen zum Einsatz.
Darüber hinaus ermöglicht der Betrieb von Data Warehouse-Analysen in der Cloud die Integration mit zahlreichen Datenmanagement-Diensten: Amazon EBS, S3, SageMaker, Glue und Lambda sowie Azure Blob Storage, Data Factory, ML Studio und PowerBI sind nur einige Beispiele.
Wie man ein cloudbasiertes Data Warehouse auswählt und bereitstellt
Zunächst müssen Sie überlegen, ob eine clusterbasierte oder serverlose Warehouse-Architektur für die Cloud-Bereitstellung Ihres Unternehmens geeignet ist.
Clustered Warehouses haben vorhersehbarere Preise und ermöglichen eine direktere Kontrolle, wobei letzterer Vorteil auf Kosten der Investition von Elastizität, Kapazität und Cluster-Gesundheit gekostet wird. Im Gegensatz dazu werden serverlose Modelle vollständig von Ihrem CSP überwacht und die Elastizität wird automatisch skaliert, aber Sie zahlen entweder pro Abfrage oder basierend auf Auslastung, was schwer vorherzusagen sein kann.
Die Preisgestaltung ist tatsächlich möglicherweise der komplizierteste Aspekt bei der Auswahl eines Cloud-Data-Warehouses, unabhängig vom Modell. Einer der Hauptvorteile einer starken Cloud-Plattform ist ihre Elastizität, aber wenn Datenlasten stabil sind, können Sie auf Kostenineffizienzen stoßen. Darüber hinaus ist es entscheidend, alle Kosten im Zusammenhang mit Arbeitsabläufen zu überwachen, die Daten aus der Cloud verlagern, sowie komplizierte Budgetierungs- und Kostenkontrollen, die schnell außer Kontrolle geraten können.
Zu guter Letzt kann die anfängliche Implementierung eines cloudbasierten Lagers mit langsamerer als erwarteter Leistung einhergehen und erfordern, dass Nutzer ihre Praktiken anpassen, um diesem frühen Rückschlag gerecht zu werden.
Die Maximierung eines Cloud-Data-Warehouses erfordert eine agile, multicloud-basierte Datenplattform wie die Teradata Autonomous Knowledge Platform. Sein Cloud-Dienst Teradata Cloud ist speziell für Unternehmens-Workloads entwickelt, und die Fixed+Flex-Preisgestaltung kombiniert eine feste Basis mit On-Demand-Flex-Kapazität. Die Plattform unterstützt Cloud-, On-Premises- und Hybrid-Deployments, um Daten dort zu verarbeiten, wo sie sich befinden, und so die Datenbewegung zu minimieren.
Häufig gestellte Fragen
Was ist ein Cloud-Data Warehouse?
Was ist ein Cloud-Data Warehouse?
Ein Cloud-Datawarehouse bringt Daten aus transaktionalen Systemen, Anwendungen und anderen Quellen für analytische Abfragen und Business Intelligence zusammen, mit Speicher und Rechenleistung, die auf Abruf skalieren.
Was ist der Unterschied zwischen clusterbasierten und serverlosen Cloud-Datawarehouses?
Was ist der Unterschied zwischen clusterbasierten und serverlosen Cloud-Datawarehouses?
Clusterbasierte Systeme verwenden mehrere Knoten zur Bearbeitung von Abfragen, während in serverlosen Systemen der Cloud-Anbieter die Rechenressourcen dynamisch verwaltet. Auch die Preise unterscheiden sich. Serverlose Modelle verlangen pro Abfrage oder nach Auslastung, was schwer vorherzusagen ist. Mieter ist eine separate Entscheidung. Wählen Sie Single-Tenant, wenn Sie eine strikte Performance-Isolation benötigen, oder Multi-Tenant, wenn niedrigere Kosten wichtiger sind.
Was ist der Unterschied zwischen einem Cloud-Data Warehouse und einem Data Lake?
Was ist der Unterschied zwischen einem Cloud-Data Warehouse und einem Data Lake?
Ein Data Warehouse speichert relationale Daten unter einem im Voraus definierten Schema, das für schnelle SQL-Abfragen und Berichte optimiert ist. Ein Data Lake speichert strukturierte und unstrukturierte Daten so, wie sie sind, in jeder Größenordnung, für Analysen wie Big-Data-Verarbeitung und maschinelles Lernen.
Wie wählt man ein Cloud-Data Warehouse aus?
Wie wählt man ein Cloud-Data Warehouse aus?
Beginnen Sie mit Ihren Arbeitslasten, Ihrem Budget und Ihren Bereitstellungsbedürfnissen und nicht mit einem Ranking. Wählen Sie zwischen einer clusterbasierten und einer serverlosen Architektur, vergleichen Sie Preismodelle und prüfen, ob Sie eine Einzel-Cloud-, Multi-Cloud- oder eine hybride Bereitstellung benötigen. Plattformen, die in der Cloud, vor Ort und in hybriden Deployments laufen, können Daten dort verarbeiten, wo sie sich befinden, und so die Datenübertragung minimieren.
Worauf sollten Sie achten, wenn Sie in ein Cloud-Datawarehouse wechseln?
Worauf sollten Sie achten, wenn Sie in ein Cloud-Datawarehouse wechseln?
Vor allem Kosten und frühe Leistung. Die Preisgestaltung kann der komplizierteste Teil der Wahl sein. Serverlose Modelle verlangen pro Abfrage oder nach Auslastung, was schwer vorherzusagen ist. Und das Entfernen von Daten aus der Cloud erhöht die Kosten. Die anfängliche Implementierung kann zudem langsamer als erwartet laufen und die Nutzer müssen ihre Praktiken anpassen.