DM250: Data Engineering & DataOps

Agenda:

• Moderne Datenarchitekturen

  • Warehouse vs. Lakehouse

  • Medallion/Layering

  • Domänen Schnitt
    
    

• Batch & Streaming

  • Event Modelle

  • Windowing Grundideen

  • Late Data

  • Exactly once vs. At least once
    
    

• Pipeline Design

  • Ingestion Patterns

  • Transformation

  • Partitioning

  • Backfills

  • Idempotenz
    
    

• Orchestrierung

  • DAG Design

  • Abhängigkeiten

  • Parameterisierung

  • Scheduling

  • Retries, SLAs
    
    

• Analytics Engineering (z. B. dbt Denke) 

  • Modellierung

  • Dokumentation

  • Tests

  • Semantic Layer Gedanken
    
    

• CI/CD für Daten

  • Git Flow

  • Build/Deploy Pipelines

  • Umgebungen

  • Secrets

  • Artefaktierung
    
    

• Automatisierte Tests

  • Unit/Integration

  • Schema Tests

  • DQ Checks

  • Contract Tests

  • Regression Strategien
    
    

• Observability

  • Logs/Metriken/Traces Denke

  • Pipeline Health

  • Freshness

  • Volume

  • Distribution

  • Kosten
    
    

• Betrieb & Incident Response

  • Alert Design

  • On Call Basics

  • Runbooks

  • Postmortems
    
    

• Security & Governance Touchpoints

  • Access Patterns

  • Masking

  • Lineage Integration

  • Katalog Anschluss
    
    

• Capstone

  • End to End Blueprint

  • Betriebs und Qualitätskonzept

Ziele:

• Moderne Datenarchitekturen auswählen und begründet skizzieren (inkl. Batch/Streaming Einordnung)

• Datenpipelines so entwerfen, dass sie robust (idempotent), skalierbar und wartbar sind

• Orchestrierung sauber strukturieren (DAG Design, Abhängigkeiten, Backfills, SLAs)

• CI/CD fähige Delivery Struktur für Datenprojekte aufbauen (Repo Struktur, Environments, Releases)

• Teststrategie für Daten implementieren (Schema, Contracts, DQ Checks, Regression)

• Observability Konzept definieren (SLOs, Alerts, Monitoring Metriken, Kostenindikatoren)

• Betriebsfähigkeit sicherstellen (Runbooks, Incident Abläufe, Postmortem Verbesserungen)

• Governance Anforderungen technisch „einbauen“ (Metadaten/Lineage, Zugriff, DQ als Code)

Zielgruppe:

Das Training DM250 Data Engineering & DataOps richtet sich an:

• Data Engineers, Analytics Engineers, DataOps Rollen, Plattform /Cloud Engineers mit Datenfokus

• MLOps/ML Engineers mit Verantwortung für Datenfeeds, Tech Leads für Datenplattformen

Voraussetzungen:

Um den Kursinhalten und dem Lerntempo im Training DM250 Data Engineering & DataOps gut folgen zu können, empfehlen wir den vorherigen Besuch der Kurse:

• DM100 Grundlagen Data Management & Data Governance 

• DM200 Data Governance & Data Asset Management in der Praxis oder gleichwertiges Grundlagenwissen

• Solides SQL Grundwissen

• Basiskenntnisse in Python (oder einer vergleichbaren Sprache) sind sehr hilfreich

• Grundverständnis von Datenpipelines/ETL/ELT sowie Git/Versionskontrolle wird empfohlen

Beschreibung:

Der Kurs DM250 Data Engineering & DataOps adressiert die technische Umsetzung von verlässlichen, skalierbaren und betreibbaren Datenprodukten – mit dem Mindset und den Praktiken von DataOps. Die Teilnehmer arbeiten entlang der gesamten Delivery Kette: von modernen Datenarchitekturen (Lakehouse Ansätze, Streaming/Event Driven, ELT/ETL Patterns) über Pipeline Design, Orchestrierung (z. B. Airflow Prinzipien, dbt Workflows oder vergleichbare Tools) bis hin zu CI/CD, automatisierten Tests und Observability. Dabei steht nicht das „Tool Training“ im Vordergrund, sondern robuste, übertragbare Prinzipien: Versionskontrolle, Umgebungsstrategie, Testpyramide für Daten, Data Contracts, Deployments, Monitoring, Incident Handling und kontinuierliche Verbesserung.
Ein wesentliches Ergebnis des Workshops DM250 Data Engineering & DataOps ist die Fähigkeit, Datenpipelines wie Produktsoftware zu liefern: reproduzierbar, messbar, sicher und kosteneffizient. Dazu gehört auch die Anschlussfähigkeit an Governance (DM100 Fundamentals of Data Management & Data Governance / DM200 Data Governance & Data Asset Management in der Praxis): Metadaten/Lineage, Zugriffsmodelle, Qualitätsregeln und dokumentierte Verantwortlichkeiten werden als integrale Bestandteile der Engineering Praxis behandelt – nicht als „Nacharbeit“. In einem Capstone Szenario (z. B. „Batch + Streaming Ingestion → Transformation → Serving Layer“) entwerfen die Teams eine End to End Lösung inkl. Betriebsartefakten (Runbooks, Alerts, SLOs, Release Checkliste).