Wie viel Strom braucht ein lokaler KI-Assistent? KARL im Praxischeck

KARL steht für „KI-Assistent Rechnet Lokal“. Der Demonstrator des Mittelstand-Digital Zentrums Fokus Mensch betreibt ein Sprachmodell auf zwei miteinander verbundenen MacBook Pro. Für die Verbrauchsmessung haben wir beide Geräte gemeinsam an eine Messsteckdose angeschlossen. So lässt sich die Leistungsaufnahme des gesamten Rechnerverbunds beobachten.

Im dokumentierten Betrieb bewegte sie sich zwischen rund 50 Watt im Leerlauf und etwa 160 Watt unter Volllast. Eine Momentaufnahme während des Betriebs zeigte knapp 72 Watt. Diese Werte beziehen sich auf unseren konkreten Aufbau; andere Geräte, Modelle und Nutzungsmuster können zu anderen Ergebnissen führen. Die Messungen sind im KARL-Admin-Manual, Kapitel 6 dokumentiert.

Für die Stromrechnung ist entscheidend, wie lange das System mit welcher durchschnittlichen Leistung läuft. Ein einzelner Messwert reicht dafür nicht aus: Ein Assistent, der gelegentlich Fragen beantwortet und ansonsten auf Aufgaben wartet, hat ein anderes Verbrauchsprofil als ein System, das über Stunden Texte verarbeitet.

Zur Einordnung hilft eine Beispielrechnung. Nehmen wir an, KARL läuft das ganze Jahr durch und benötigt dabei durchschnittlich 100 Watt. Das entspricht 0,1 Kilowatt. Über 8.760 Stunden ergibt sich ein Jahresverbrauch von 876 Kilowattstunden. Bei einem angenommenen Strompreis von 30 Cent pro Kilowattstunde wären das rund 263 Euro Stromkosten im Jahr, also etwa 22 Euro im Monat.

Die folgende Übersicht zeigt, wie sich unterschiedliche angenommene Durchschnittswerte auswirken:

Das sind Rechenszenarien, keine gemessenen Jahresverbräuche. Sie machen aber sichtbar, welchen Unterschied Auslastung und Betriebsdauer ausmachen. Auch die Bereitschaftszeit zählt: Bei unserem Aufbau benötigt der Verbund bereits im Leerlauf Strom. Unternehmen sollten deshalb prüfen, zu welchen Zeiten ihr Assistent tatsächlich erreichbar sein muss.

Für eine eigene Abschätzung genügt eine einfache Formel:

Verbrauch in kWh = durchschnittliche Leistung in Watt ÷ 1.000 × Betriebsstunden

Multipliziert mit dem eigenen Strompreis ergibt sich daraus der Stromkostenanteil. Besonders hilfreich ist eine Messsteckdose, die den Energieverbrauch über einen längeren Zeitraum aufsummiert. Eine repräsentative Arbeitswoche mit typischen Aufgaben und Ruhezeiten liefert eine bessere Grundlage als eine einzelne Momentaufnahme unter Last.

Die Stromkosten allein beantworten allerdings noch nicht die Frage, was lokale KI insgesamt kostet. Hinzu kommen die Anschaffung der Hardware sowie Zeit für Einrichtung, Wartung und Fehlerbehebung. Bereits vorhandene Rechner haben ebenfalls einen Wert und stehen während des KI-Betriebs möglicherweise für andere Aufgaben nur eingeschränkt zur Verfügung.

Unsere Messung liefert damit einen konkreten Baustein für die Entscheidung über lokale KI. Wer den eigenen Verbrauch erfasst und Betriebszeiten bewusst plant, kann den Stromkostenanteil nachvollziehbar kalkulieren. Bei KARL lässt sich das bereits mit einer einfachen Messsteckdose und wenigen Rechenschritten umsetzen.