DM250: Data Engineering & DataOps NEU

Agenda:

• Moderne Datenarchitekturen
  • Warehouse vs. Lakehouse
  • Medallion/Layering
  • Domänen Schnitt
    
    
• Batch & Streaming
  • Event Modelle
  • Windowing Grundideen
  • Late Data
  • Exactly once vs. At least once
    
    

• Pipeline Design
  • Ingestion Patterns
  • Transformation
  • Partitioning
  • Backfills
  • Idempotenz
    
    
• Orchestrierung
  • DAG Design
  • Abhängigkeiten
  • Parameterisierung
  • Scheduling
  • Retries, SLAs
    
    
• Analytics Engineering (z. B. dbt Denke) 
  • Modellierung
  • Dokumentation
  • Tests
  • Semantic Layer Gedanken
    
    

• CI/CD für Daten
  • Git Flow
  • Build/Deploy Pipelines
  • Umgebungen
  • Secrets
  • Artefaktierung
    
    

• Automatisierte Tests
  • Unit/Integration
  • Schema Tests
  • DQ Checks
  • Contract Tests
  • Regression Strategien
    
    
• Observability
  • Logs/Metriken/Traces Denke
  • Pipeline Health
  • Freshness
  • Volume
  • Distribution
  • Kosten
    
    
• Betrieb & Incident Response
  • Alert Design
  • On Call Basics
  • Runbooks
  • Postmortems
    
    
• Security & Governance Touchpoints
  • Access Patterns
  • Masking
  • Lineage Integration
  • Katalog Anschluss
    
    

• Capstone
  • End to End Blueprint
  • Betriebs und Qualitätskonzept

Ziele:

• Moderne Datenarchitekturen auswählen und begründet skizzieren (inkl. Batch/Streaming Einordnung)
• Datenpipelines so entwerfen, dass sie robust (idempotent), skalierbar und wartbar sind
• Orchestrierung sauber strukturieren (DAG Design, Abhängigkeiten, Backfills, SLAs)
• CI/CD fähige Delivery Struktur für Datenprojekte aufbauen (Repo Struktur, Environments, Releases)
• Teststrategie für Daten implementieren (Schema, Contracts, DQ Checks, Regression)
• Observability Konzept definieren (SLOs, Alerts, Monitoring Metriken, Kostenindikatoren)
• Betriebsfähigkeit sicherstellen (Runbooks, Incident Abläufe, Postmortem Verbesserungen)
• Governance Anforderungen technisch „einbauen“ (Metadaten/Lineage, Zugriff, DQ als Code)

Zielgruppe:

Das Training DM250 Data Engineering & DataOps richtet sich an:

• Data Engineers, Analytics Engineers, DataOps Rollen, Plattform /Cloud Engineers mit Datenfokus
• MLOps/ML Engineers mit Verantwortung für Datenfeeds, Tech Leads für Datenplattformen

Voraussetzungen:

Um den Kursinhalten und dem Lerntempo im Training DM250 Data Engineering & DataOps gut folgen zu können, empfehlen wir den vorherigen Besuch der Kurse:

• DM100 Grundlagen Data Management & Data Governance 
• DM200 Data Governance & Data Asset Management in der Praxis oder gleichwertiges Grundlagenwissen
• Solides SQL Grundwissen
• Basiskenntnisse in Python (oder einer vergleichbaren Sprache) sind sehr hilfreich
• Grundverständnis von Datenpipelines/ETL/ELT sowie Git/Versionskontrolle wird empfohlen

Beschreibung:

Der Kurs DM250 Data Engineering & DataOps adressiert die technische Umsetzung von verlässlichen, skalierbaren und betreibbaren Datenprodukten – mit dem Mindset und den Praktiken von DataOps. Die Teilnehmer arbeiten entlang der gesamten Delivery Kette: von modernen Datenarchitekturen (Lakehouse Ansätze, Streaming/Event Driven, ELT/ETL Patterns) über Pipeline Design, Orchestrierung (z. B. Airflow Prinzipien, dbt Workflows oder vergleichbare Tools) bis hin zu CI/CD, automatisierten Tests und Observability. Dabei steht nicht das „Tool Training“ im Vordergrund, sondern robuste, übertragbare Prinzipien: Versionskontrolle, Umgebungsstrategie, Testpyramide für Daten, Data Contracts, Deployments, Monitoring, Incident Handling und kontinuierliche Verbesserung.
Ein wesentliches Ergebnis des Workshops DM250 Data Engineering & DataOps ist die Fähigkeit, Datenpipelines wie Produktsoftware zu liefern: reproduzierbar, messbar, sicher und kosteneffizient. Dazu gehört auch die Anschlussfähigkeit an Governance (DM100 Fundamentals of Data Management & Data Governance / DM200 Data Governance & Data Asset Management in der Praxis): Metadaten/Lineage, Zugriffsmodelle, Qualitätsregeln und dokumentierte Verantwortlichkeiten werden als integrale Bestandteile der Engineering Praxis behandelt – nicht als „Nacharbeit“. In einem Capstone Szenario (z. B. „Batch + Streaming Ingestion → Transformation → Serving Layer“) entwerfen die Teams eine End to End Lösung inkl. Betriebsartefakten (Runbooks, Alerts, SLOs, Release Checkliste).