KI-Engineering

Ich baue KI-Funktionen, die im Betrieb bestehen: Sprachmodelle in echten Produkten, Retrieval über Unternehmensdaten, Agenten, die Tools sicher nutzen, und das Testen, die Sicherheit und das Monitoring drumherum. Daneben setze ich seit 2018 Machine Learning in Produkten für Prognosen, Risikobewertung und Fahrzeugbewertung ein.

1. LLM- und Modellintegration

Modellwahl pro Aufgabe nach Qualität, Latenz und Kosten; gehostete APIs (OpenAI, Claude, Gemini, Perplexity) oder selbst gehostetes Llama auf llama.cpp; Fallback-Pfade, wenn ein Anbieter ausfällt; und Kostenkontrolle pro Funktion. In Seliee kann jeder Kunde seinen eigenen Anbieter-Schlüssel nutzen oder ein selbst gehostetes Modell anbinden.

2. RAG-Architektur

Ingestion und Chunking der Quelldokumente, Retrieval und Reranking, Antworten mit Quellenangabe und Aktualisierungsjobs, die das Wissen aktuell halten. Der persönliche Assistent auf dieser Website antwortet nur aus meinem Portfolio, und der In-App-Assistent von Seliee lädt nur die Wissensabschnitte, die zur aktuellen Seite und Frage passen.

3. Agentische KI

Tool Calling und Orchestrierung, Zustand außerhalb des Modells, Berechtigungen pro Tool und menschliche Freigabe für unumkehrbare Aktionen. Im AI Office von Seliee führen Agenten Szenarien mit den panel-eigenen Tools aus; Veröffentlichen, Senden und Ausgeben warten immer auf Freigabe. Ein MCP-Server stellt dieselben Tools externen Agenten bereit.

4. Evaluierung und Qualität

Testsets aus echten Fragen, Offline-Evaluierung vor dem Release, Online-Prüfungen danach, Regressionstests für Prompt- und Modelländerungen und vorab vereinbarte Erfolgskriterien. Das AI-Visibility-Modul von Seliee misst, ob Antworten von OpenAI, Claude, Gemini und Perplexity eine Website erwähnen.

5. Sicherheit

Schutz vor Prompt Injection und Datenabfluss, Mandantentrennung, Autorisierung bei jedem Tool-Aufruf und ein Audit Trail der Agentenaktionen.

6. Observability und Betrieb

Tracing, Token-Verbrauch, Latenz, Fehlerraten und Kosten pro Funktion, im Betrieb überwacht mit derselben Graylog- und Grafana-Praxis wie auf Kubernetes-Plattformen.

Machine Learning in Produkten

Prognosen, Risikobewertung, Fahrzeugbewertung und NLP-basierte Übersetzung mit TensorFlow, PyTorch und scikit-learn, gespeist von Crawlern und Datenpipelines.