Vortrag Application Lifecycle Management in der Azure Data Factory von Stefan Kirner
Im Rahmen der GlobalAzure Konfererenz 2021 hat Stefan seinen Vortrag zu DevOps für die Data Factory gehalten.
Was ist die Definition of Done in deinem Datenprojekt auf Azure? Bist du wirklich fertig nach dem ersten erfolgreichen Durchlauf der Pipeline mit ein paar Dummy Daten? Seit den Anpassungen in einer nächtlichen Hau-Ruck Aktion geht nichts mehr und du hast weder Ahnung was genau passiert ist noch ein Fallback um es wieder zum Laufen zu bringen?
In dem Vortrag werden Methoden, Technologien und Best Practices vorgestellt, wie man in der Azure Data Factory strukturiert und sicher entwickeln kann, in dem man die Integration und Dienste von Azure DevOps nutzt. Das wird dich hoffentlich vor solchen Katastrophen schützen und gleichzeitig die Arbeit im Team ermöglichen.
Daneben schauen wir uns die Unterschiede bezüglich continous integration & development (CI/CD) an, wenn man Data Pipelines in Azure Synapse Studio entwickelt.
Die Folien könnt ihr auf dieser Seite downloaden (slides in English), die Aufzeichnung des Talk (Deutsch) auf Youtube ist ebenfalls verlinkt.