Eigener KI-Agent: Zwei Macs teilen sich ein großes Sprachmodell

Warum überhaupt lokal?

Viele kleine und mittlere Unternehmen möchten generative KI nutzen, zögern aber aus guten Gründen. Bei Cloud-Diensten verlassen Anfragen und Dokumente das Unternehmen, die laufenden Kosten sind schwer kalkulierbar und die Abhängigkeit von einem Anbieter wächst mit jedem Anwendungsfall. Gleichzeitig sind frei verfügbare Sprachmodelle inzwischen so leistungsfähig, dass sie viele Aufgaben im Unternehmensalltag gut bewältigen. Was ihnen im Weg steht, ist oft nur die Hardware. Die wirklich fähigen Modelle benötigen deutlich mehr Arbeitsspeicher für agentische Aufgaben, als ein einzelner Arbeitsplatzrechner mitbringt.

Die Idee: Zwei Rechner bündeln ihre Ressourcen

Genau hier setzt unser Demonstrator KARL (KI-Assistent Rechnet Lokal) an. Zwei baugleiche MacBook Pro mit je 128 GB gemeinsamem Speicher werden über ein einfaches Thunderbolt-Kabel verbunden. Das quelloffene Framework MLX von Apple verteilt ein Sprachmodell dann so über beide Geräte, dass sie wie ein einziger großer Rechner arbeiten. Damit lassen sich Modelle betreiben, die für eines der Geräte allein zu groß wären. Teure Spezialhardware ist dafür nicht nötig, der Aufbau besteht aus Standardgeräten, einem Kabel und freier Software.

Auf dem Cluster läuft ein KI-Agent, der über den Messenger Telegram erreichbar ist. Wer KARL eine Nachricht schreibt, bekommt seine Antwort vom eigenen Sprachmodell im Haus, nicht aus der Cloud. Das System funktioniert auch ohne Internetverbindung, und es entstehen keine laufenden Gebühren für externe KI-Dienste.

Was wir gelernt haben

Der Aufbau hat funktioniert, aber nicht im ersten Anlauf. Unser wichtigstes Learning: Das größtmögliche Modell ist nicht das beste. Unser erster Kandidat mit rund 230 Milliarden Parametern passte zwar rechnerisch in den gemeinsamen Speicher, ließ aber keinen Platz für den Gesprächskontext. Sobald längere Unterhaltungen oder Agentenaufgaben anstanden, wurde das System instabil. Stabil wurde der Betrieb erst mit einem deutlich kompakteren Modell und einem fest begrenzten Kontextfenster von 65.000 Token. Gerade bei agentischen Anwendungen wächst der Kontext schnell, dieser Speicherbedarf gehört von Anfang an in die Planung.

Auch darüber hinaus gab es Stolpersteine, von Modellen, die sich nicht auf zwei Rechner verteilen ließen, über abbrechende Downloads jenseits der 100 GB bis zu kleinen macOS-Eigenheiten bei Netzwerk und Autostart. Alle diese Erfahrungen haben wir dokumentiert, damit andere sie nicht wiederholen müssen.

Zum Nachbauen: Das Admin-Manual

Diesem Beitrag ist ein ausführliches Admin-Manual mit Lessons Learned beigefügt. Es führt IT-Verantwortliche Schritt für Schritt durch den Aufbau, von der Thunderbolt-Verbindung über die Modellauswahl bis zur Telegram-Anbindung, und erklärt, worauf es bei der Konfiguration ankommt. Wer über eigene Hardware mit ausreichend Speicher verfügt, kann den Aufbau damit an einem Arbeitstag nachvollziehen. Bei Fragen zum Demonstrator kommen Sie gern auf uns zu.

Links:

1. Weiterführender Link: Hermes-Agent (Open Source), github.com/NousResearch/hermes-agent 
2. Weiterführender Link: MLX (Open Source, Apple), github.com/ml-explore/mlx