LLM-Anwendungen, die in Produktion bestehen.
Kurz gesagt: Ich plane, baue und betreibe LLM-Anwendungen für Schweizer Unternehmen. Schwerpunkte: RAG über interne Wissensbasen, Dokument-Intelligenz-Pipelines, LLM-Integrationen in ERP, CRM und Helpdesks. Eingesetzt werden Azure OpenAI (Schweiz-Region), Claude (Anthropic), OpenAI oder Open-Source-Modelle (Qwen, Llama) — je nach Daten-, Budget- und Compliance-Constraint. Öffentlicher Proof-Point: das Hackathon-Projekt JiVS Migration Visual Companion (3. Platz, DMI Hackathon Davos 2026), eine LLM-gestützte Visualisierungs-Schicht für SAP-Migrationsobjekte.
KI-Engineering bedeutet, LLM-Anwendungen so zu bauen, dass sie in Produktion zuverlässig laufen — über Monate, mit echten Nutzern, unter Last und im Audit. Das ist eine andere Disziplin als ein hübscher Prompt in einer Notebook-Demo. Es geht um Retrieval-Qualität, Latenz-Budgets, Token-Kosten, Eval-Pipelines, Guardrails, Drift-Monitoring und sauberes Deployment.
Konkret heisst das: Datenvorbereitung und Chunking-Strategien, Vektor-Indizes mit reproduzierbarer Evaluation, strukturierte Output-Schemas, deterministische Fallbacks, Cost-Caps pro Request, Logging in DSG-konformer Form. Wo eine Forschungsdemo bei "es funktioniert manchmal" aufhört, fängt Engineering an.
Retrieval-Augmented Generation über interne Dokumente, Wikis und Datenbanken. Inkl. Chunking-Strategie, Hybrid-Suche (BM25 + Vektor), Reranking und Source-Citations.
Extraktion strukturierter Daten aus PDFs, Rechnungen, Verträgen und Formularen. Mit Azure Document Intelligence, LLM-basiertem Post-Processing und Schema-Validation.
LLM-Features in bestehende Systeme: Microsoft 365, Salesforce, SAP, Zendesk, JIRA. Strukturiertes Tool-Use, sichere Auth, klare Failure-Modes.
Eval-Datasets, Retrieval-Metriken (Precision/Recall@k), Faithfulness- und Relevanz-Checks, Regression-Tests vor jedem Deployment. Observability mit Trace-Logs und Drift-Monitoring.
Input-/Output-Filter, PII-Redaction, Output-Schema-Validation, Cost-Caps pro Request und pro User. Klare Grenzen, bevor das LLM in Produktion geht.
Welcher Anbieter passt zu Ihren Anforderungen — Azure OpenAI Schweiz, Anthropic via AWS Bedrock EU, oder Open-Source auf eigener Infrastruktur via vLLM/Ollama? Schriftliche Entscheidungs-Grundlage.
3. Platz, DMI Hackathon Davos 2026.
Im Februar 2026 habe ich am DMI Hackathon in Davos den JiVS Migration Visual Companion mit-entwickelt — eine LLM-gestützte Visualisierungs-Schicht, die SAP-Migrationsobjekte und ihre Abhängigkeiten interaktiv darstellt. Eingesetzt: Claude für die Reasoning-Schicht, strukturierte Tool-Calls für die JiVS-Datenzugriffe, ein leichter Vektor-Index für Schema-Lookups. Das Projekt belegte den 3. Platz unter den eingereichten Teams.
Aus diesem Hackathon-Projekt ist meine fortlaufende Zusammenarbeit mit DMI entstanden — KI-Integrationen direkt auf ihrer JiVS-IMP-Plattform: agentische Migrationsvorbereitung, LLM-gestützte Datenzugriffe und strukturierte Auswertungen statt manueller Excel-Arbeit.
Warum es als Proof-Point relevant ist: Die Patterns aus diesem Hackathon — strukturierte Output-Schemas, Source-Citations auf Schema-Level, deterministische Fallbacks bei LLM-Unsicherheit — sind direkt übertragbar auf Production-RAG- und Document-Intelligence-Projekte bei Schweizer KMU. KI-Engineering ist transferierbar, nicht nur Domain-spezifisch.
Claude (Anthropic). Erste Wahl, wenn lange Reasoning-Ketten, präzise Instruction-Following oder agentische Workflows mit Tool-Use im Spiel sind. Hosting via AWS Bedrock EU oder Direct API. Tradeoff: kein offizieller Schweiz-Region-Endpoint, dafür starke Compliance-Story über EU-Bedrock.
Azure OpenAI (Schweiz-Region). Erste Wahl bei strikten Datenresidenz-Anforderungen (Banken, Versicherungen, öffentliche Hand), bei vorhandener Microsoft-Tenant-Infrastruktur und für Document Intelligence mit nativer Azure-Integration. Tradeoff: Modell-Reihenfolge folgt OpenAI mit Verzögerung, Throughput-Quotas brauchen Planung.
OpenAI direkt. Für schnelle Prototypen, neueste Modelle und Bilderzeugung. Nicht erste Wahl für Schweizer Produktivlasten mit sensiblen Daten — kein CH-Region-Hosting, US-Vertragspartner.
Open Source (Qwen, Llama via vLLM/Ollama). Erste Wahl bei extremer Datenresidenz (On-Premises), bei hohem Token-Volumen, wo Stückkosten dominieren, oder bei spezialisierten Tasks (z.B. Embeddings, Klassifikation), wo grosse Frontier-Modelle Overkill sind. Tradeoff: niedrigere Reasoning-Qualität als Frontier-Modelle, eigenes Ops-Team nötig.
In den meisten realen Projekten kommen zwei Modelle zum Einsatz: ein leistungsstarkes Frontier-Modell für komplexes Reasoning und ein kleineres Modell für Embeddings, Klassifikation oder Hilfs-Tasks. Das hält Kosten und Latenz im Griff.
RAG (Retrieval-Augmented Generation) holt zur Antwortzeit relevante Dokumente aus einer externen Wissensbasis und übergibt sie dem LLM als Kontext. Das Modell selbst bleibt unverändert. Fine-Tuning trainiert ein Modell auf eigenen Daten und ändert dessen Gewichte. In der Praxis ist RAG fast immer die richtige Wahl für Schweizer KMU: schneller umsetzbar, leicht aktualisierbar, transparenter (Quellen-Citations), günstiger. Fine-Tuning kommt in Frage, wenn Stilbruch oder ein sehr spezifisches Output-Format konsistent erzwungen werden müssen — oder bei sehr hohem Volumen, wo ein kleineres feinjustiertes Modell günstiger läuft als ein grosses generisches.
DSG-Konformität hängt weniger am Modell und mehr am Hosting und Vertrag. Praktisch konforme Pfade: Azure OpenAI in der Schweiz-Region (Switzerland North) mit Microsoft-DPA und Data-Residency-Garantie; Anthropic Claude via AWS Bedrock in einer EU-Region mit AWS-DPA; Open-Source-Modelle (Qwen, Llama) selbst gehostet via vLLM oder Ollama, on-prem oder in einer Schweizer Cloud. Direkte API-Zugriffe auf OpenAI oder Anthropic ohne EU/CH-Hosting brauchen genaue Prüfung — möglich, aber je nach Datenklasse riskanter. Für regulierte Branchen (Banken, Pharma, öffentliche Hand) ist Azure Schweiz-Region oder Open-Source on-prem in der Regel die saubere Wahl.
Auf zwei Ebenen. Retrieval-Metriken: Precision@k und Recall@k auf einem kuratierten Eval-Dataset — bei k=5 sollten die richtigen Quellen mit hoher Wahrscheinlichkeit dabei sein. Generation-Metriken: Faithfulness (sagt die Antwort nichts, was nicht in den Quellen steht?), Answer Relevancy (beantwortet sie die Frage?), Context Precision (sind die abgerufenen Quellen wirklich relevant?). In der Praxis nutze ich ein Eval-Set von 50–200 Fragen mit Gold-Antworten, lasse das System gegen jede Variante (neues Chunking, neuer Reranker, neues Modell) laufen und vergleiche die Zahlen. Ohne dieses Eval-Set ist jede "Verbesserung" Spekulation.
Ein typischer PoC-Sprint kostet zwischen CHF 15'000 und CHF 35'000 (zwei Wochen, ein klar abgegrenzter Use Case, ein Datentyp, eine Quellenmenge, Lieferung End-to-End inklusive Eval-Setup). Eine Produktiv-Implementierung mit Auth, Monitoring, mehreren Datenquellen und Stakeholder-Reviews startet ab CHF 50'000 für eng abgegrenzte Use Cases und kann je nach Datenkomplexität und Integrations-Anforderungen deutlich darüber liegen. Laufende Betriebskosten (LLM-API-Calls, Vektorstore, Hosting) hängen am Volumen und liegen bei den meisten KMU-Projekten im niedrigen vierstelligen Bereich pro Monat. Genauere Kalkulation nach einem unverbindlichen Discovery-Call.
Ja. Microsoft betreibt Azure OpenAI in der Region Switzerland North (Zürich) mit den gängigen GPT-Modellen und Embeddings. Daten bleiben in der Schweiz, Microsoft bietet DPA und Data-Residency-Garantien, was die DSG-Geschichte für die meisten KMU sauber macht. Praktische Hinweise: nicht jedes Modell ist sofort in der Schweiz-Region verfügbar (neue Modelle landen zuerst in US-Regionen, Schweiz folgt mit Verzögerung); Throughput-Quotas (PTUs / Tokens-per-Minute) müssen geplant werden; Document Intelligence und andere Azure-AI-Dienste in der Schweiz-Region kombinieren sich nativ. Aktueller Stand und konkretes Modell prüfen wir gemeinsam im Discovery-Call.
Mitarbeitende chatten mit HR-Handbuch, IT-Policies, Vertragsmustern. Antworten mit Quellenangabe.
Rechnungen, Verträge, Formulare automatisch ins ERP — mit Review-Queue für Low-Confidence-Fälle.
Verträge gegen Regelwerk prüfen — Ampelsystem-Output mit Begründungen pro Klausel.
Buchen Sie einen unverbindlichen 30-Minuten-Discovery-Call. Wir klären, ob RAG, Document Intelligence oder eine LLM-Integration für Ihren Use Case Sinn macht — und welcher Stack dazu passt.
Discovery-Call anfragen