AI310: AI Technology Professional

Agenda:

• Attention & Transformer‑Grundlagen
  • Kontext: Warum Attention? Grenzen klassischer Sequenzmodelle, Intuition von „Soft Lookup“
  • Self Attention: Idee, Ablauf, was „Aufmerksamkeit“ mathematisch bedeutet
  • Queries, Keys, Values
  • Multi Head Attention: Parallelisierung verschiedener Beziehungsarten im Text
  • Bausteine der originalen Transformer Architektur:
    • Encoder/Decoder Blöcke, Feed Forward, Residuals, LayerNorm
    • Positionsinformation
  • Von Architektur zu Aufgaben: Welche Teile sind wofür gut?
    
    
• BERT vs. GPT, LLMs & Fine‑Tuning (anwenden, entscheiden, planen)
  • Nur Encoding: BERT (Encoder only)
    • Grundprinzip
    • Typische Aufgaben: Klassifikation, Sentimentanalyse, Extraktion, Matching/Ähnlichkeit
    • Fine Tuning Logik für Downstream Tasks
  • Nur Decoding: GPT (Decoder only)
    • Autoregressives Generieren (Next Token Prinzip)
    • Generationslogik
    • Typische Aufgaben: Textgenerierung, Dialog, Übersetzung, Zusammenfassung
  • Large Language Models (LLMs)
    • Was macht sie „large“? (Skalierungsidee, Daten/Parameter/Compute)
    • Was sie gut können – und typische Grenzen (Halluzinationen als Risiko in Anwendungen)
  • Fine Tuning
    • Wann Fine Tuning sinnvoll ist vs. „Modell so nutzen“
    • Grundformen: Task Fine Tuning (z. B. Klassifikation) vs. generatives Fine Tuning (z. B. Stil/Antwortformat)
    • Anforderungen: Datenqualität, Labeling, Overfitting Risiko, Evaluationsstrategie

Ziele:

• Transformer Grundlagen sicher beherrschen: Self Attention, Q/K/V, Multi Head Attention verständlich erklären können
• Architekturverständnis: Originale Transformer Bausteine einordnen und deren Zweck begründen
• Modellfamilien unterscheiden: Encoder only (BERT) vs. Decoder only (GPT) – Stärken, Grenzen, typische Aufgaben
• LLMs einordnen: Was LLMs ausmacht, welche Fähigkeiten daraus entstehen, welche Risiken/Grenzen relevant sind
• Fine Tuning konzeptionell planen: Wann es sich lohnt, welche Art, welche Daten/Evaluation nötig sind
• Use Cases strukturieren: Sentimentanalyse, Übersetzung u. a. als wiederholbares Entscheidungs und Umsetzungsmuster

Zielgruppe:

• Data Scientists, ML Engineers, AI Engineers (Einsteiger bis Intermediate)
• Data/AI Architects, Tech Leads, Engineering Leads im Daten /KI Kontext
• Produkt /Projektrollen mit technischem Fokus, die LLM Entscheidungen fundiert begleiten wollen

Voraussetzungen:

• Grundverständnis von Machine Learning Begriffen (Train/Test, Features/Labels, Overfitting) hilfreich
• Basiskenntnisse in Python

Beschreibung:

Der Kurs AI310 AI Technology Professional vermittelt ein fundiertes technisches Verständnis moderner Sprachmodelle auf Basis der Transformer Architektur – von den Kernideen der Attention bis zur Einordnung von Encoder only und Decoder only Modellen (BERT vs. GPT) und den Grundprinzipien großer Sprachmodelle (LLMs).
Der Kurs AI310 AI Technology Professional ist so aufgebaut, dass Teilnehmer nicht nur die Begriffe kennen, sondern die Zusammenhänge wirklich verstehen: Warum Self Attention funktioniert, wie Queries/Keys/Values zusammenspielen, was Multi Head Attention bringt, und wie daraus die ursprüngliche Transformer Architektur entsteht.
Auf dieser Basis werden die wichtigsten Modellfamilien praxisnah eingeordnet: BERT als Encoder only (bidirektionales Kontextverständnis, stark für Klassifikation/Extraktion) und GPT als Decoder only (autoregressives Generieren, stark für Textproduktion und generative Aufgaben).
Der Kurs AI Technology Professional erklärt außerdem, was ein Large Language Model im Kern ausmacht (Pretraining Ziel, Skalierung, Tokenisierung, Kontextfenster, Inferenz/Generierung) und wie Fine Tuning als Übertragungsprinzip funktioniert – analog zu Transfer Learning bei CNNs, aber mit typischen Besonderheiten bei Sprachmodellen. Abgerundet wird AI310 durch eine systematische Brücke in die Praxis: Die Teilnehmer lernen, typische Einsatzmöglichkeiten (z. B. Sentimentanalyse, Übersetzung u. a.) entlang der passenden Modellwahl und eines sinnvollen Vorgehens (Daten, Training, Evaluation, Grenzen) zu strukturieren.