AI340: RAG System Implementer UPDATE

Agenda:

• Grundlagen & Architektur eines RAG‑Systems

  • RAG Prinzip:

    • Retrieval vs. Generierung

    • typische Fehlerbilder (z. B. Halluzinationen, falsches Grounding)

  • RAG Architekturbausteine: Ingestion → Index → Retrieval → Prompting → Answering

  • Modell /LLM Einsatz

    • Auswahlkriterien

    • Kontextfenster

    • Kosten-/Latenz-Trade offs

  • Prompt Engineering für RAG:

    • Rollen

    • Templates

    • Zitations-/Quellennachweise

    • Antwortformate
      
      

• Datenquellen, Indexierung & Retrieval Qualität

  • Datenquellen anbinden (z. B. Dokumente, Wikis, Ticketsysteme, Richtlinien) - Konzepte & Patterns

  • Chunking/Strukturierung, Metadaten, Zugriffskonzepte (inkl. Berechtigungen)

  • Embeddings & Vektorsuche:

    • Grundprinzipien

    • Hybrid Search / Re Ranking (wann sinnvoll)

  • Datenqualität & Compliance Basics:

    • PII/Datenschutz

    • Provenienz

    • Versionierung

    • Lösch-/Aufbewahrungslogik
      
      

• Implementierung, Betrieb & Absicherung

  • Implementierung eines Prototyps (End to End) inkl. UI/Chat Integration oder API Service Pattern

  • Evaluierung:

    • Testsets/“Golden Set“

    • Offline Checks

    • Qualitätsmetriken

    • Regression Tests

  • Trustworthiness:

    • Quellenbezug

    • Confidence Signale

    • „Don’t know“-Strategien

    • Wissensvalidierung

  • Security & Governance:

    • Prompt Injection Risiken

    • Content-/Policy Checks

    • Logging/Auditability

  • Erweiterungen:

    • Agent Workflows

    • Knowledge Augmentation

    • Multimodale Daten
      
      

  • Praxisanteil: Aufbau und Iteration eines RAG‑Prototyps, angepasst an ein Beispiel‑Szenario, inkl. Abschlussdemo.

Ziele:

Nach dem Kurs AI340 RAG System Implementer können Teilnehmer ein RAG-System architektonisch sauber entwerfen (Bausteine, Datenfluss, Verantwortlichkeiten), unterschiedliche Datenquellen robust anbinden und indexierbar machen (Chunking, Metadaten, Versionierung), die Retrieval-Qualität systematisch verbessern (z. B. Re-Ranking, Filter, Query-Optimierung), RAG-Prompts so gestalten, dass Antworten konsistent, quellenbasiert und nutzbar sind, eine Evaluierungs- und Betriebslogik etablieren (Testsets, Monitoring, Regression), Sicherheits- und Governance-Leitplanken integrieren (Berechtigungen, Logging, Guardrails) sowie einen Prototyp als Grundlage für Pilotierung und Produktivsetzung liefern.

Zielgruppe:

Das Training AI340 RAG System Implementer richtet sich an:

• (KI )Entwickler:innen, ML/AI Engineers

• Software Architekt:innen / Tech Leads

• IT und Compliance Verantwortliche mit technischem Hintergrund (z. B. ISMS Teams)

• Plattform /MLOps Rollen, die RAG Systeme betreiben oder integrieren

Voraussetzungen:

Um dem Lerntempo und den Inhalten des Trainings AI340 RAG System Implementer gut folgen zu können, sind folgende Vorkenntnisse erforderlich:

• Grundkenntnisse in Python

• Basisverständnis von LLMs

• Für die Übungen: Entwicklungsumgebung (Notebook/IDE), grundlegende Toolchain (z. B. Git)

Beschreibung:

In diesem Training AI340 RAG System Implementer lernen Teilnehmer, ein Retrieval‑Augmented‑Generation (RAG)‑System praxisnah zu konzipieren, aufzubauen und so zu betreiben, dass es konsistente, nachvollziehbare und „grounded“ Antworten aus eigenen Wissensquellen liefert. Im Fokus steht ein umsetzbarer End‑to‑End‑Ansatz: von Datenquellen und Dokumenten‑Pipelines über Embeddings und Vektorsuche bis hin zu Prompt‑/Response‑Design, Evaluierung, Sicherheitsmechanismen und Integration in bestehende Tools und Prozesse.

Der Kurs AI340 RAG System Implementer ist bewusst tool‑agnostisch aufgebaut: Es werden gängige Architekturbausteine und bewährte Implementierungs‑Patterns vermittelt, die sich mit verbreiteten Frameworks und Vektor‑Datenbanken umsetzen lassen. Als roter Faden dient ein domänennahes Beispiel (z. B. Informationssicherheit/ISMS), damit klar wird, wie RAG‑Systeme bei der Arbeit mit umfangreichen Regelwerken und internen Policies unterstützen können – etwa bei Fragen rund um ISO‑Standards oder aktuelle regulatorische Anforderungen (z. B. ISO 27001, DORA, NIS2, CRA). Dabei gilt: Technische Enablement‑Perspektive, keine Rechtsberatung.

Am Ende steht ein funktionsfähiger Prototyp plus ein Set an Checklisten/Blueprints, um das Vorgehen in der eigenen Organisation sauber zu skalieren (Datenzugriff, Rollen, Governance, Monitoring).