DM250: Data Engineering & DataOps NEU

Agenda:

• Moderne Datenarchitekturen: Warehouse vs. Lakehouse, Medallion/Layering, Domänen Schnitt
  
  
• Batch & Streaming: Event Modelle, Windowing Grundideen, Late Data, Exactly once vs. At least once
  
  
• Pipeline Design: Ingestion Patterns, Transformation, Partitioning, Backfills, Idempotenz
  
  
• Orchestrierung: DAG Design, Abhängigkeiten, Parameterisierung, Scheduling, Retries, SLAs
  
  
• Analytics Engineering (z. B. dbt Denke): Modellierung, Dokumentation, Tests, Semantic Layer Gedanken
  
  
• CI/CD für Daten: Git Flow, Build/Deploy Pipelines, Umgebungen, Secrets, Artefaktierung
  
  
• Automatisierte Tests: Unit/Integration, Schema Tests, DQ Checks, Contract Tests, Regression Strategien
  
  
• Observability: Logs/Metriken/Traces Denke, Pipeline Health, Freshness, Volume, Distribution, Kosten
  
  
• Betrieb & Incident Response: Alert Design, On Call Basics, Runbooks, Postmortems
  
  
• Security & Governance Touchpoints: Access Patterns, Masking, Lineage Integration, Katalog Anschluss
  
  
• Capstone: End to End Blueprint + Betriebs und Qualitätskonzept

Ziele:

• Moderne Datenarchitekturen auswählen und begründet skizzieren (inkl. Batch/Streaming Einordnung)
• Datenpipelines so entwerfen, dass sie robust (idempotent), skalierbar und wartbar sind
• Orchestrierung sauber strukturieren (DAG Design, Abhängigkeiten, Backfills, SLAs)
• CI/CD fähige Delivery Struktur für Datenprojekte aufbauen (Repo Struktur, Environments, Releases)
• Teststrategie für Daten implementieren (Schema, Contracts, DQ Checks, Regression)
• Observability Konzept definieren (SLOs, Alerts, Monitoring Metriken, Kostenindikatoren)
• Betriebsfähigkeit sicherstellen (Runbooks, Incident Abläufe, Postmortem Verbesserungen)
• Governance Anforderungen technisch „einbauen“ (Metadaten/Lineage, Zugriff, DQ als Code)

Zielgruppe:

• Data Engineers, Analytics Engineers, DataOps Rollen, Plattform /Cloud Engineers mit Datenfokus
• MLOps/ML Engineers mit Verantwortung für Datenfeeds, Tech Leads für Datenplattformen

Voraussetzungen:

• Um den Kursinhalten und dem Lerntempo im Training DM250 Data Engineering & DataOps gut folgen zu können, empfehlen wir den vorherigen Besuch der Kurse:
  • DM100 Grundlagen Data Management & Data Governance 
  • DM200 Data Governance & Data Asset Management in der Praxis
    oder gleichwertiges Grundlagenwissen
• Solides SQL Grundwissen
• Basiskenntnisse in Python (oder einer vergleichbaren Sprache) sind sehr hilfreich
• Grundverständnis von Datenpipelines/ETL/ELT sowie Git/Versionskontrolle empfohlen

Beschreibung:

Der Kurs DM250 Data Engineering & DataOps adressiert die technische Umsetzung von verlässlichen, skalierbaren und betreibbaren Datenprodukten – mit dem Mindset und den Praktiken von DataOps. Die Teilnehmer arbeiten entlang der gesamten Delivery Kette: von modernen Datenarchitekturen (Lakehouse Ansätze, Streaming/Event Driven, ELT/ETL Patterns) über Pipeline Design, Orchestrierung (z. B. Airflow Prinzipien, dbt Workflows oder vergleichbare Tools) bis hin zu CI/CD, automatisierten Tests und Observability. Dabei steht nicht das „Tool Training“ im Vordergrund, sondern robuste, übertragbare Prinzipien: Versionskontrolle, Umgebungsstrategie, Testpyramide für Daten, Data Contracts, Deployments, Monitoring, Incident Handling und kontinuierliche Verbesserung.
Ein wesentliches Ergebnis des Workshops DM250 Data Engineering & DataOps ist die Fähigkeit, Datenpipelines wie Produktsoftware zu liefern: reproduzierbar, messbar, sicher und kosteneffizient. Dazu gehört auch die Anschlussfähigkeit an Governance (DM100 Fundamentals of Data Management & Data Governance / DM200 Data Governance & Data Asset Management in der Praxis): Metadaten/Lineage, Zugriffsmodelle, Qualitätsregeln und dokumentierte Verantwortlichkeiten werden als integrale Bestandteile der Engineering Praxis behandelt – nicht als „Nacharbeit“. In einem Capstone Szenario (z. B. „Batch + Streaming Ingestion → Transformation → Serving Layer“) entwerfen die Teams eine End to End Lösung inkl. Betriebsartefakten (Runbooks, Alerts, SLOs, Release Checkliste).