AI325: Agent Harness Engineering – Agenten entwerfen, bauen, evaluieren NEU

Agenda:

• Loop, Tools und Kontext

  • Anatomie eines Agenten: Modell, Loop, Tools und Kontext als Harness verstehen

  • Was Coding-Agenten wie Claude Code unter der Haube tun: der Harness als eigentlicher Unterschied

  • Grundregel des Harness-Designs: Der einfachste Harness, der funktioniert, gewinnt

  • Der Agenten-Loop im Detail: Reason/Act-Zyklus, Tool-Ergebnisse als Feedback und Abbruchkriterien

  • Typische Fehlerbilder erkennen und beheben: Endlosschleifen, Kontextverlust, zu früher Abbruch

  • Verify-Loop als Grundmuster: Ändern, Testen, Reparieren

  • Tool-Design: Werkzeuge gezielt zuschneiden, statt eine uneingeschränkte Shell freizugeben

  • Schemas, Beschreibungen und Fehlerrückgaben als Steuerinstrument; Structured Output erzwingen
    
    

Hands-on-Lab: Einen Agenten-Loop ohne SDK bauen (Schleife über die Messages API, Tool-Definitionen, Dispatch, Ergebnisse zurückführen, Abbruchkriterium); anschließend den Verify-Loop einbauen und Fehlerfälle gezielt provozieren

• Skalieren, absichern und messen

  • Context Engineering: das Kontextbudget als knappe Ressource steuern

  • Zusammenfassen und Compaction, Memory-Dateien und Repository Maps

  • Prompt Caching: Wirkung auf Kosten und Latenz

  • Subagents und Orchestrierung: Kontext-Isolation durch eine zweite Instanz des eigenen Loops

  • Handoff oder Koordinator: welches Muster wann passt und wann sich das Aufteilen lohnt

  • SDKs und Frameworks eingeordnet: was sie gegenüber dem selbstgebauten Loop abnehmen und was sie kosten

  • Multi-Agent-Frameworks am Beispiel CrewAI: Agenten, Rollen, Tasks und Crews; Gegenüberstellung mit dem eigenen Harness

  • Sicherheit und Kontrolle: Sandboxing, Permission-Modelle und Hooks als harte Guardrails

  • Prompt Injection und Excessive Agency praktisch: Angriff nachvollziehen, dann absichern

  • Evaluation: einen eigenen Eval-Harness mit Testfällen, Erfolgskriterien und Regressionserkennung aufbauen

  • Öffentliche Benchmarks und ihre Grenzen realistisch einordnen
    
    

Hands-on-Lab: Den eigenen Harness um Subagent, Guardrails und eine Eval-Suite erweitern, dieselbe Aufgabe mit CrewAI umsetzen und beide Varianten gegen die Testfälle messen

Ziele:

Nach Beendigung des Workshops AI325 Agent Harness Engineering – Agenten entwerfen, bauen, evaluieren können die Teilnehmer:

• den Aufbau moderner LLM-Agenten aus Loop, Tools, Kontext und Guardrails erklären und bewerten

• einen Agenten-Harness ohne Framework direkt gegen die API implementieren

• Tools mit sauberen Schemas, Beschreibungen und Fehlerrückgaben entwerfen

• das Kontextbudget mit Compaction, Memory und Prompt Caching wirtschaftlich steuern

• Agenten mit Subagents strukturieren

• SDKs und Multi-Agent-Frameworks wie CrewAI fundiert gegenüber dem Eigenbau einordnen

• Agenten gegen Prompt Injection und Excessive Agency absichern

• Agentenqualität mit einem eigenen Eval-Harness messen und Regressionen erkennen

Zielgruppe:

Das Training AI325 Agent Harness Engineering – Agenten entwerfen, bauen, evaluieren richtet sich an:

•      Softwareentwickler, die LLM-Agenten in eigene Produkte und Workflows integrieren möchten

•      AI Engineers und ML Engineers, die von Prompting und einzelnen API-Aufrufen zu agentischen Systemen übergehen

•      Tech Leads und Architects, die Eigenbau und Agenten-Frameworks fundiert gegeneinander bewerten möchten

Voraussetzungen:

Für die Teilnahme am Kurs AI325 Agent Harness Engineering – Agenten entwerfen, bauen, evaluieren sind folgende Vorkenntnisse erforderlich:

•      Solide Programmierkenntnisse in Python

•      Erste praktische Erfahrung mit einer LLM-API oder einem Coding-Agenten

•      Grundverständnis von HTTP-APIs und JSON

•      Vorkenntnisse zu Agenten-Frameworks sind nicht notwendig

Beschreibung:

Ein Agent ist mehr als ein Modell: Der Harness, also der Loop, die Tools, die Kontextverwaltung und die Guardrails, entscheidet darüber, ob ein LLM-Agent zuverlässig arbeitet oder unkontrolliert scheitert. Der Kurs AI325 Agent Harness Engineering – Agenten entwerfen, bauen, evaluieren stellt diesen Harness in den Mittelpunkt: Die Teilnehmer bauen ihn von Grund auf selbst, ohne Framework, direkt gegen die API.

Im ersten Teil erarbeiten die Teilnehmer den Agenten-Loop im Detail, entwerfen saubere Tools mit Schemas und Fehlerrückgaben und implementieren im Lab einen eigenen Harness inklusive Verify-Loop. Dabei wird sichtbar, dass der Kern eines Agenten wenige Dutzend Zeilen Code umfasst und die eigentliche Ingenieursarbeit im Design von Tools, Kontext und Abbruchkriterien liegt.

Der zweite Teil bereitet den Agenten auf den Produktivbetrieb vor: Kontextbudget und Prompt Caching, Skalierung mit Subagents, Absicherung gegen Prompt Injection und Excessive Agency sowie ein eigener Eval-Harness mit Testfällen und Regressionserkennung. Abschließend setzen die Teilnehmer dieselbe Aufgabe mit dem Multi-Agent-Framework CrewAI um und messen beide Varianten gegen dieselben Testfälle. Wer den Loop einmal selbst gebaut hat, erkennt, was ein Framework tatsächlich abnimmt und was nicht.