Demonstrator KARL: KI-Assistent Rechnet Lokal

Generative KI wird im Mittelstand meist über Cloud-Dienste genutzt. Das ist bequem, wirft aber Fragen auf: Wohin fließen die Daten? Was kosten die Dienste auf Dauer? Und was passiert, wenn ein Anbieter Preise, Bedingungen oder Verfügbarkeit ändert? Der Demonstrator KARL (KI-Assistent Rechnet Lokal) gibt eine praktische Antwort. Er zeigt, wie ein KI-Agent mit einem großen Sprachmodell komplett im eigenen Haus betrieben werden kann, auf Hardware, die in vielen Unternehmen bereits vorhanden ist oder ohne Großinvestition beschafft werden kann.

Ziele des Projekts

1. Digitale Souveränität demonstrieren: KARL zeigt, dass moderne KI-Assistenz ohne Cloud-Dienste möglich ist. Alle Daten bleiben im Unternehmen, das System funktioniert auch ohne Internetverbindung.
2. Verteilte lokale Inferenz erproben: Zwei baugleiche Rechner werden über ein Thunderbolt-Kabel zu einem Cluster verbunden. So lassen sich Sprachmodelle betreiben, die für ein einzelnes Gerät zu groß wären.
3. Agentische KI im Alltag verankern: Der Assistent beantwortet nicht nur Fragen, sondern nutzt Werkzeuge und ist über einen vertrauten Messenger erreichbar, sodass keine neue Software erlernt werden muss.
4. Wissenstransfer ermöglichen: Aufbau, Konfiguration und alle Erfahrungen sind in einem ausführlichen Admin-Manual mit Lessons Learned dokumentiert, mit dem IT-Verantwortliche in KMU das System nachbauen können.

Technische Umsetzung

• Hardware: Zwei baugleiche MacBook Pro mit Apple Silicon und je 128 GB gemeinsamem Speicher, verbunden per Thunderbolt mit aktiviertem RDMA für schnellen Speicherzugriff zwischen den Geräten.
• Inferenz: MLX und mlx-lm, das quelloffene Machine-Learning-Framework von Apple, im verteilten Betrieb über das JACCL-Backend.
• Sprachmodell: Verschiedene Open-Weight-Modelle werden ausprobiert, wie bspw. von einem Qwen3.6/Qwen3.8 27b bis hin zu einem MiniMax M2.5 (230b).
• Schnittstelle: Eine OpenAI-kompatible API, an die sich beliebige weitere Anwendungen im Unternehmen anbinden lassen.
• Agent: Der quelloffene Hermes-Agent von Nous Research mit Telegram-Anbindung, Desktop-App und Web-Dashboard.

Einsatzszenarien

• Persönlicher KI-Assistent, erreichbar über den Messenger auf dem eigenen Smartphone.
• Recherche- und Wissensaufgaben mit vertraulichen Unternehmensdaten, die das Haus nicht verlassen dürfen.
• Zentrales KI-Backend für weitere Anwendungen im Unternehmen über die offene API.
• Experimentierplattform, um agentische KI risikofrei und ohne laufende Kosten zu erproben.

Mehrwert für den Mittelstand

• Volle Datenhoheit: Anfragen, Dokumente und Antworten bleiben vollständig im Unternehmen.
• Kalkulierbare Kosten: Keine laufenden API-Gebühren, die Investition beschränkt sich auf Standard-Hardware.
• Unabhängigkeit: Kein Vendor-Lock-in bei Cloud-Anbietern, das System läuft auch offline weiter.
• Übertragbares Wissen: Der dokumentierte Aufbau inklusive Lessons Learned macht Erfolge und Stolpersteine für Nachahmer transparent.

Links

1. Hermes-Agent (Open Source): github.com/NousResearch/hermes-agent 
2. MLX (Open Source, Apple): github.com/ml-explore/mlx 
3. Effizientes Wissensmanagement mit dem RAG-Demonstrator des Mittelstand-Digital Zentrums Fokus Mensch