Die neue Version der aus Azure bekannten Data Factory in Microsoft Fabric stand in letzter Zeit im Fokus zweier Vorträge, die scieneers auf renommierten Veranstaltungen präsentieren durften. Stefan Kirner hat auf der SQL Konferenz in Hanau, ausgerichtet von Datamonster, sowie auf den SQLDays, organisiert von ppedv, gesprochen.

Die Präsentation beleuchtete die technischen und konzeptionellen Unterschiede zwischen der Azure Data Factory und jener in Microsoft Fabric. Ebenso wurden die Auswirkungen dieser Unterschiede auf die Entwicklung sowie wichtige Aspekte des Application Lifecycle Managements beim Teamwork in Fabric thematisiert.

Hier eine kurze Zusammenfassung der gewonnenen Erkenntnisse:

Das Gute:

– Die Data Factory entwickelt sich weiter, bietet erweiterte Features und ist besser in das Gesamtsystem integriert.

– Das Software-as-a-Service Modell und ein berechenbares Preismodell erleichtern gerade Neulingen den Einstieg.

– Viel des bereits vorhandenen technischen Know-hows und Methodenwissens rund um die Azure Data Factory ist weiterhin anwendbar.

– Die Migration von bestehenden Data Engineering Projekten ist in den meisten Fällen problemlos möglich.

Das Schlechte:

– Für sehr kleine Projekte ist die Data Factory in Fabric nicht effizient einsetzbar.

– Spark Notebooks sind in den kleinsten verfügbaren Kapazitäten nicht wirklich nutzbar.

Das Hässliche:

– Es mangelt noch immer an Unterstützung für Git und Deployment Pipelines für Data Flows der zweiten Generation.

– Es existieren viele GUI Bugs und die Stabilität lässt zu wünschen übrig.

– Die noch eingeschränkte Anzahl von Datenquellen bei der Copy Activity führt zu Verwirrung.

Trotz der genannten Schwachstellen entwickelt sich Fabric in eine sehr positive Richtung. Microsoft arbeitet mit Hochdruck an den aktuellen Herausforderungen. Scieneers freut sich darauf, diese Technologie in zukünftigen Kundenprojekten weiterhin erfolgreich einzusetzen.