Data engineering pattern in der Azure Data Factory von Stefan Kirner
Die Data Factory steht wie keine anderer Dienst auf Azure für Daten-Ladeprozesse.
Allerdings kann man diese mit dem Managed Service inzwischen auf viele unterschiedliche Arten implementieren. Die Palette reicht von der reinen Orchestrierung von Verarbeitungsschritten auf Big Data Clustern über klassische ETL Prozesse mit den Integration Services bis hin zu den neuen Spark-basierten Mapping oder Wrangling Data Flows. Wie können denn auch on-premises Datenquellen oder globale Szenarien mit ADF adressiert werden?
In dem Vortrag werden die typischen Muster für Datenverarbeitung in der Azure Data Factory aufgezeigt und verglichen. Das wird abgerundet mit best practices zum Application Lifecylce Management.