Azure

Azure Data Factory (ADF)

Overview

Azure Data Factory (ADF) orchestriert Datenbewegungen und -transformationen. Typische Aufgaben sind das nächtliche Laden von ERP-, CRM- oder Datenbankdaten in einen Data Lake oder ein Data Warehouse, das Zusammenführen von Dateien und der zeitgesteuerte Aufruf von Verarbeitungsschritten in Databricks, Functions oder SQL.

Microsoft bezeichnet Data Factory in Microsoft Fabric als nächste Generation von ADF und empfiehlt Einsteigern, dort zu beginnen. ADF bleibt verfügbar, für bestehende Workloads gibt es einen Leitfaden zum Upgrade nach Fabric. Die Pipelines in Azure Synapse Analytics nutzen dieselbe Engine wie ADF.

Abgrenzung: Logic Apps und Power Automate automatisieren Geschäftsprozesse mit einzelnen Datensätzen, ADF verarbeitet Datenmengen in Batches für Analytics.

How it works

Eine Data Factory besteht aus diesen Bausteinen:

  1. Linked Services: Verbindungsdefinitionen zu Datenquellen und Compute, vergleichbar mit Connection Strings.
  2. Datasets: Verweise auf konkrete Tabellen, Dateien oder Ordner.
  3. Aktivitäten: Datenbewegung (Copy), Transformation (Mapping Data Flows, Databricks, SQL) und Steuerung (If, ForEach, Web).
  4. Pipelines: logische Gruppen von Aktivitäten, sequenziell oder parallel.
  5. Trigger: Zeitplan, Tumbling Window oder Ereignis (z. B. neues Blob).
  6. Integration Runtimes: Azure IR für Cloud-Quellen, Self-hosted IR auf einem lokalen Server für On-Premises-Daten über ausgehende Verbindungen, Azure-SSIS IR für bestehende SSIS-Pakete.

Mapping Data Flows laufen auf verwalteten Spark-Clustern, ohne dass Du Cluster betreibst. Über die Copy-Aktivität stehen über 90 integrierte Konnektoren bereit.

Benefits

  • Hybride Anbindung: Die Self-hosted Integration Runtime erreicht lokale Datenbanken, ohne eingehende Firewallfreigaben.
  • Visuelle Entwicklung: Pipelines und Datenflüsse entstehen im Browser, Git-Integration sorgt für Versionierung.
  • Viele Quellen: Konnektoren für SQL Server, Oracle, SAP, Dateien, SaaS-Dienste und Cloud-Speicher sind enthalten.
  • Überwachung eingebaut: Laufhistorie, Wiederholungen und Alerts zeigen fehlgeschlagene Läufe.
  • SSIS-Weiterbetrieb: Bestehende SSIS-Pakete laufen in der Azure-SSIS IR weiter.

Practical example

Ein Hersteller von Verpackungsmaschinen mit 700 Mitarbeitenden will Vertriebs- und Servicedaten zusammenführen. Eine Self-hosted Integration Runtime auf einem Server im Rechenzentrum liest nachts Aufträge aus dem lokalen ERP auf SQL Server, ADF kopiert sie in Azure Data Lake Storage und startet anschließend eine Transformation, die die Daten für Power BI aufbereitet. Fehlgeschlagene Läufe melden sich per Alert an das BI-Team. Die manuelle Excel-Konsolidierung am Monatsanfang entfällt.

Things to keep in mind

  • Prüfe für neue Vorhaben zuerst Data Factory in Microsoft Fabric, Microsoft entwickelt dort die nächste Generation.
  • Betreibe die Self-hosted Integration Runtime auf einem gehärteten Server mit Updates und mindestens zwei Knoten für Ausfallsicherheit.
  • Lege Zugangsdaten in Key Vault ab und nutze die Managed Identity der Factory für Azure-Ziele.
  • Beobachte die Kosten von Data Flows und Aktivitätsausführungen, denn häufige kleine Läufe summieren sich.
  • Verbinde die Factory mit Git (Azure Repos oder GitHub) und stelle per CI/CD zwischen Test und Produktion bereit.

Licensing & availability

Verbrauchsabrechnung nach Pipeline-Orchestrierung (Aktivitätsläufe), Datenbewegung (DIU-Stunden), Data-Flow-Clusterstunden und Laufzeit der Integration Runtimes. Für SSIS fallen zusätzlich VM-Kosten der Azure-SSIS IR an, mit Azure Hybrid Benefit für SQL-Server-Lizenzen. Stand: Oktober 2026.

Conclusion

ADF ist ein bewährtes Werkzeug für hybride Datenintegration. Für neue Analytics-Projekte vergleichst Du mit Data Factory in Microsoft Fabric.

Further reading

Related articles