Große Sprachmodelle brauchen mehr Arbeitsspeicher, als ein einzelner Rechner üblicherweise bietet. Für den Demonstrator KARL hat das Mittelstand-Digital Zentrum Fokus Mensch deshalb zwei handelsübliche MacBook Pro zu einem kleinen Cluster verbunden, auf dem ein KI-Agent vollständig lokal läuft. Der Beitrag zeigt, wie der Aufbau gelingt und was wir dabei gelernt haben.
- SDG: #04 Hochwertige Bildung
- SDG: #08 Menschenwürdige Arbeit und Wirtschaftswachstum
- SDG: #09 Industrie, Innovation und Infrastruktur