Azure

Azure Databricks

Overview

Azure Databricks ist ein Erstanbieter-Dienst in Azure, den Microsoft und Databricks gemeinsam anbieten. Die Plattform folgt dem Lakehouse-Prinzip: Daten liegen offen im Delta-Lake-Format im eigenen Data Lake Storage, darauf arbeiten Data Engineers, Analysten und Data Scientists mit Notebooks, SQL Warehouses und ML-Werkzeugen.

Unity Catalog regelt zentral Rechte, Herkunft (Lineage) und Freigaben der Daten. Lakeflow übernimmt Datenaufnahme und ETL-Pipelines, SQL Warehouses bedienen BI-Werkzeuge wie Power BI, Lakebase ergänzt eine verwaltete Postgres-Datenbank für operative Anwendungen.

Wichtige Änderung: Den Standard-Tarif hat Microsoft am 1. Oktober 2026 eingestellt, verfügbar ist damit der Premium-Tarif. Abgrenzung: Microsoft Fabric ist Microsofts SaaS-Analytics-Plattform mit OneLake, Databricks die Wahl für Spark-lastige Workloads und Teams mit Databricks-Know-how. Beide lassen sich über offene Delta-Tabellen kombinieren.

How it works

Ein Databricks-Workspace ist mit einem Azure-Abonnement und einer verwalteten Ressourcengruppe verbunden.

  1. Klassische Compute-Cluster laufen als VMs im Abonnement des Kunden (optional per VNet-Injection im eigenen VNet).
  2. Serverless Compute für Notebooks, Jobs und SQL läuft in der Databricks-Infrastruktur und startet ohne Clusterwartezeit.
  3. Daten liegen als Delta-Tabellen in Azure Data Lake Storage, Unity Catalog verwaltet Kataloge, Schemata, Tabellen und Berechtigungen.
  4. Jobs und Lakeflow-Pipelines orchestrieren die Verarbeitung, Git-Ordner und Declarative Automation Bundles bringen Code in CI/CD.
  5. MLflow und die ML-Runtime unterstützen Training, Versionierung und Bereitstellung von Modellen.

Anmeldung über Microsoft Entra ID, Benutzer und Gruppen lassen sich per SCIM synchronisieren.

Benefits

  • Skalierbare Datenverarbeitung: Spark verteilt große Datenmengen auf viele Knoten.
  • Offenes Format: Delta Lake im eigenen Speicher verhindert Datensilos und vereinfacht den Austausch mit Fabric und anderen Werkzeugen.
  • Zentrale Governance: Unity Catalog bündelt Rechte und Lineage für Daten und Modelle.
  • Zusammenarbeit: Notebooks mit Python, SQL, Scala und R erlauben gemeinsames Arbeiten an Datenprodukten.
  • Integration in Azure: Entra ID, Key Vault, Private Link und Azure Monitor sind angebunden.

Practical example

Ein Chemiehandel mit 900 Mitarbeitenden konsolidiert Labor-, Produktions- und Vertriebsdaten. Rohdaten aus SAP und LIMS landen per Lakeflow im Data Lake, Databricks bereinigt sie in einer Bronze-Silver-Gold-Struktur und stellt Kennzahlen über ein SQL Warehouse für Power BI bereit. Unity Catalog stellt sicher, dass Rezepturdaten nur die Anwendungstechnik sieht. Ein Data Scientist trainiert auf denselben Daten ein Prognosemodell für Rohstoffbedarf.

Things to keep in mind

  • Der Standard-Tarif ist seit 1. Oktober 2026 eingestellt, prüfe ältere Workspaces und Kalkulationen auf Premium.
  • Setze Auto-Termination für Cluster und nutze Job-Cluster statt dauerhaft laufender All-Purpose-Cluster, sonst laufen DBU- und VM-Kosten weiter.
  • Betrachte bei klassischem Compute immer DBU- und VM-Kosten zusammen, bei Serverless sind die Compute-Kosten im DBU-Preis enthalten.
  • Vergib Rechte konsequent über Unity Catalog und Entra-Gruppen, nicht über Workspace-lokale Freigaben.
  • Plane Netzwerkisolation (VNet-Injection, Private Link, kein öffentlicher IP-Zugriff) vor dem Anlegen des Workspaces.

Licensing & availability

Abrechnung nach Databricks Units (DBU) je Workload-Typ und Tarif, bei klassischem Compute zusätzlich VM-, Speicher- und Netzwerkkosten in Azure, bei Serverless ist Compute im DBU-Preis enthalten. Der Standard-Tarif wurde am 1. Oktober 2026 eingestellt, verfügbar ist Premium. Reservierungen (Databricks Commit Units) sind möglich. Stand: Oktober 2026.

Conclusion

Databricks ist stark für Spark-lastiges Data Engineering und KI auf offenen Datenformaten. Steuere Clusterlaufzeiten und Rechte von Beginn an.

Further reading

Related articles