Lösungsansatz
- Entwicklung und Implementierung eines Cloud-basierten Data Lakehouse unter Anwendung einer Medaillon-Architektur
- Integration unterschiedlicher Datenquellen sowie Automatisierung der gesamten Datenverarbeitung von der Datenaufnahme (Ingestion) über Bereinigung und Transformation bis hin zur Bereitstellung für das Reporting
- Einsatz einer metadatengetriebenen Datenverarbeitung zur flexiblen und skalierbaren Transformation der Daten
Vorteile der Lösung
- Das Data Lakehouse vereint zentrale Datenspeicherung und -verarbeitung mit integrierten BI-Funktionalitäten in einer einheitlichen Plattform
- Die Konsolidierung heterogener Datenquellen ermöglicht eine zentrale „Single Source of Truth“ für alle relevanten Datenbestände, die nachgelagerte Prozesse, wie Reporting oder Datenanalysen vereinfacht
- Eine bankweite zentrale Datenverwaltung inklusive Zugriff auf vollständige Datenhistorien
- Die optimierte Datenstruktur fördert schnellere, präzisere Analysen und erleichtert die Weiterverwendung von Informationen in nachgelagerten Prozessen
Eingesetzte Technologien
Für die Umsetzung des Pilotprojekts kamen moderne Cloud- und Datenplattformtechnologien zum Einsatz:
- Microsoft Azure – als skalierbare Cloud-Infrastruktur
- Microsoft Fabric – für die Integration von Analyse- und Datenservices in einer einheitlichen Plattform
- Azure Data Lake Storage Gen2 – zur effizienten und sicheren Speicherung großer, strukturierter und unstrukturierter Datenmengen
- Delta Lake – für zuverlässiges Datenmanagement mit ACID-Transaktionen im Lakehouse
- Apache Spark - als leistungsfähige Engine für die parallele Verarbeitung großer Datenmengen und komplexer Analysen
- Power BI – als leistungsstarkes Tool zur Datenvisualisierung und Berichterstellung