AI315: Lokale LLMs fine-tunen NEU

Agenda:

• Entscheiden: Lohnt sich Fine-Tuning, und mit welchem Modell?

  • Prompting, RAG oder Fine-Tuning: Entscheidung an typischen Unternehmensfällen wie Fachsprache, feste Antwortformate, Klassifikation und Extraktion

  • Offene Modelle für den lokalen Einsatz auswählen: Größe, Lizenz, Qualität auf Deutsch und Hardwarebedarf

  • GPU-Speicher abschätzen: Modellgröße, Quantisierung, LoRA im Vergleich zu QLoRA

  • Datenschutz und Souveränität: Trainingsdaten und Modell bleiben in der eigenen Infrastruktur

  • Hands-on-Lab: Das Ausgangsmodell ohne Training testen und eine messbare Baseline festlegen

• Trainingsdaten aufbauen und mit LoRA/QLoRA trainieren

  • Trainingsbeispiele aus eigenen Dokumenten, Tickets oder Musterantworten erstellen: Format, Umfang und Qualität

  • Chat Templates und Instruction-Format korrekt anwenden

  • Synthetische Trainingsdaten mit einem größeren Modell erzeugen und stichprobenartig prüfen

  • LoRA und QLoRA verstehen: Rank, Alpha und Target Modules

  • Training mit Hugging Face TRL und Unsloth auf einer einzelnen GPU

  • Den Trainingsverlauf lesen: Loss, Overfitting und der richtige Zeitpunkt zum Abbrechen

  • Hands-on-Lab: Ein kleines Modell auf einen eigenen Fachdatensatz anpassen

• Bewerten und lokal bereitstellen

  • Vorher-nachher-Vergleich mit einem eigenen Testset: Formattreue, fachliche Richtigkeit und Fähigkeiten, die beim Training verloren gingen

  • LLM-as-a-Judge gezielt einsetzen und mit Stichproben von Hand absichern

  • LoRA-Adapter mit dem Basismodell zusammenführen und als GGUF exportieren

  • Das angepasste Modell mit Ollama oder llama.cpp betreiben und über eine OpenAI-kompatible API anbinden

  • Ausblick: Preference Tuning mit DPO, wenn Supervised Fine-Tuning nicht reicht

  • Hands-on-Lab: Das angepasste Modell bewerten, exportieren und in Ollama ausrollen

Ziele:

Nach Beendigung des Workshops AI315 Lokale LLMs fine-tunen können die Teilnehmer:

• begründet entscheiden, ob Prompting, RAG oder Fine-Tuning für einen Anwendungsfall passt

• ein offenes Modell passend zu Aufgabe, Lizenz und vorhandener Hardware auswählen

• den GPU-Speicherbedarf für LoRA und QLoRA abschätzen

• aus eigenen Unterlagen einen brauchbaren Trainingsdatensatz erstellen

• ein Open-Source-Modell mit LoRA oder QLoRA auf einer einzelnen GPU trainieren

• den Nutzen des Trainings mit einem Testset gegen das Ausgangsmodell messen

• das Ergebnis exportieren und lokal mit Ollama oder llama.cpp betreiben

Zielgruppe:

Das Training AI315 Lokale LLMs fine-tunen richtet sich an:

•      Softwareentwickler, die ein offenes Sprachmodell an Fachsprache, Formate oder Aufgaben ihres Unternehmens anpassen möchten

•      Data Scientists und ML Engineers, die Fine-Tuning praktisch kennenlernen möchten

•      IT-Verantwortliche sowie Architekten, die KI-Lösungen ohne Cloud-Abhängigkeit planen

Voraussetzungen:

Für die Teilnahme am Kurs AI315 Lokale LLMs fine-tunen sind folgende Vorkenntnisse erforderlich:

•      gute Python-Kenntnisse

•      Grundverständnis, wie Sprachmodelle arbeiten (Tokens, Prompts, Kontextfenster)

•      erste Erfahrung mit Jupyter-Notebooks oder der Kommandozeile ist hilfreich

Die Übungen laufen in einer bereitgestellten GPU-Umgebung; eigene GPU-Hardware ist nicht erforderlich.

Beschreibung:

Viele Unternehmen möchten Sprachmodelle nutzen, ihre Daten aber nicht an einen Cloud-Anbieter geben. Der Kurs AI315 Lokale LLMs fine-tunen zeigt, wie sich ein offenes Modell mit überschaubarem Aufwand an eigene Aufgaben anpassen lässt und danach vollständig im eigenen Haus läuft.

Am Anfang steht die Frage, ob Fine-Tuning überhaupt der richtige Weg ist. Die Teilnehmer grenzen es gegen Prompting und RAG ab, wählen ein passendes Modell und schätzen den Hardwarebedarf. Danach bauen sie aus eigenen Unterlagen einen Trainingsdatensatz und trainieren ein kleines Modell mit LoRA oder QLoRA auf einer einzelnen GPU.

Im letzten Teil wird das Ergebnis gemessen: Ein Testset vergleicht das angepasste Modell mit dem Ausgangsmodell und zeigt auch, welche Fähigkeiten verloren gegangen sind. Abschließend exportieren die Teilnehmenden das Modell als GGUF und betreiben es mit Ollama oder llama.cpp. Am Ende des Kurses Lokale LLMs fine-tunen steht ein vollständiger Ablauf, den die Teilnehmer mit eigenen Daten wiederholen können.