AI310: AI Technology Professional UPDATE

Agenda:

• Transformer verstehen: von Attention bis Inferenz

  • Vom Sequenzmodell zum Transformer: Warum Attention und welche Probleme sie löst

  • Tokenisierung, Embeddings und Positionsinformation als Eingabe des Modells

  • Self-Attention Schritt für Schritt: Queries, Keys, Values, Scores, Softmax und gewichtete Repräsentationen

  • Maskierung und Multi-Head Attention: parallele Perspektiven auf Beziehungen im Kontext

  • Transformer-Blöcke: Attention, Feed-Forward-Netze, Residual-Verbindungen und Layer Normalization

  • Modellfamilien unterscheiden: Encoder-only, Encoder-Decoder und Decoder-only

  • BERT, T5 und GPT einordnen: Pretraining-Ziele, Stärken und typische Aufgaben

  • Inferenz verstehen: Next-Token-Prinzip, Decoding-Strategien, Kontextfenster und KV-Cache

  • Hands-on-Lab: Tokenisierung und Embeddings erkunden, Attention-Abläufe im Notebook nachvollziehen und vortrainierte Modellfamilien anhand typischer Aufgaben vergleichen
    
    

• Modelle anpassen, evaluieren und sinnvoll einsetzen

  • Typische LLM-Aufgaben als Ausgangspunkt: Sentimentanalyse, Extraktion, Übersetzung, Zusammenfassung und Textgenerierung

  • Vortrainierte Modelle über eine Modellbibliothek oder API praktisch nutzen

  • Die Anpassungsleiter: Prompting und In-Context Learning, Tool Use und agentische Workflows, RAG, aufgabenspezifische Modelle und Fine-Tuning

  • Fine-Tuning-Varianten: Supervised Fine-Tuning, Instruction Tuning, vollständiges Fine-Tuning und Parameter-Efficient Fine-Tuning mit LoRA (mit Live-Demo)

  • Entscheidungsmodelle statt Textgenerierung: Klassifikation, Routing und Bewertung mit kalibrierten Wahrscheinlichkeiten, am Beispiel Jev von TypeSafe AI

  • Trainingsdaten planen: Qualität, Labeling, Datenaufteilung, Leakage und Overfitting

  • Modelle evaluieren: aufgabenspezifische Metriken, generative Qualität, LLM-as-a-Judge, Human Review und Grenzen automatisierter Bewertungen

  • Betriebsentscheidungen treffen: Modellgröße, Reasoning- vs. Standard-Modelle, Quantisierung, Rechenbedarf, Latenz und Kosten

  • Risiken berücksichtigen: Halluzinationen, Bias, Datenschutz, Prompt Injection und Modelllizenzen

  • Hands-on-Lab: Für einen eigenen Use Case eine tragfähige Anpassungs- und Evaluationsstrategie entwickeln und begründen

Ziele:

Nach Beendigung des Workshops AI310 AI Technology Professional können die Teilnehmer:

• Self-Attention, Queries, Keys, Values und Multi-Head Attention verständlich und technisch korrekt erklären

• die zentralen Bausteine eines Transformer-Modells und deren Funktion einordnen

• Encoder-only-, Encoder-Decoder- und Decoder-only-Modelle anhand ihrer Stärken und Aufgaben unterscheiden

• Tokenisierung, Pretraining, Kontextfenster und autoregressive Inferenz erklären

• zwischen Prompting, Tool Use, RAG, aufgabenspezifischen Modellen und Fine-Tuning begründet auswählen

• einschätzen, wann ein kalibriertes Entscheidungsmodell für Klassifikation und Bewertung die bessere Wahl ist als ein generatives LLM

• Instruction Tuning, vollständiges Fine-Tuning und PEFT-Verfahren wie LoRA nach Daten-, Rechen- und Betriebsaufwand einordnen

• eine belastbare Daten- und Evaluationsstrategie für die Modellanpassung planen

• technische Grenzen, Kosten und Risiken eines LLM-Use-Cases realistisch bewerten

Zielgruppe:

Das Training AI310 AI Technology Professional richtet sich an:

• Data Scientists, ML Engineers, AI Engineers (Einsteiger bis Intermediate)

• Data/AI Architects, Tech Leads, Engineering Leads im Daten /KI Kontext

• Produkt /Projektrollen mit technischem Fokus, die LLM Entscheidungen fundiert begleiten wollen

Voraussetzungen:

Für die Teilnahme am Kurs AI310 AI Technology Professional sind folgende Vorkenntnisse erforderlich:

• Basiskenntnisse in Python

• Grundverständnis zentraler Machine-Learning-Begriffe: Trainings-, Validierungs- und Testdaten, Features und Labels, Overfitting

• Grundkenntnisse zu Vektoren und Matrizen sind hilfreich, werden für die Attention-Mechanik jedoch kompakt aufgefrischt

Beschreibung:

Der Kurs AI310 AI Technology Professional vermittelt ein fundiertes technisches Verständnis moderner Sprachmodelle auf Basis der Transformer-Architektur. Ausgehend von Tokenisierung, Embeddings und Self-Attention erarbeiten die Teilnehmer das Zusammenspiel von Queries, Keys und Values, Multi-Head Attention sowie den weiteren Bausteinen eines Transformer-Blocks.

Darauf aufbauend werden Encoder-only-, Encoder-Decoder- und Decoder-only-Modelle systematisch verglichen. Die Teilnehmer lernen, BERT, T5, GPT und moderne LLMs anhand ihrer Pretraining-Ziele, Inferenzlogik, Stärken und Grenzen einzuordnen.

Im zweiten Teil des Kurses geht es um praktische Entscheidungen: Wann genügt Prompting, wann ist RAG geeignet und wann lohnt sich Fine-Tuning? Neben vollständigem Fine-Tuning werden parameter-effiziente Ansätze wie LoRA behandelt. Für Klassifikations- und Bewertungsaufgaben lernen die Teilnehmer außerdem Entscheidungsmodelle kennen, die statt Text kalibrierte Wahrscheinlichkeiten liefern. In Notebook-Übungen und Modellvergleichen wenden die Teilnehmer das Gelernte an und übertragen es zum Schluss auf einen eigenen Use Case, von der Datenplanung über die Evaluation bis zum Betrieb.