So gross ist der CO2-Fussabdruck von KI-Modellen

Die Bildung von grosser Sprachmodelle (Large Language Models oder LMMs) erfordert eine grosse Menge an Ressourcen und damit Energie. Doch wie hoch sind die Kosten für die Umwelt? Dieser Frage geht Anne-Laure Ligozat nach. Sie ist Professorin an der Ecole Nationale Supérieure d'Informatique pour l'Industrie et l'Entreprise (ENSIIE). Sie veröffentlichte unlängst eine Analyse in der Fachzeitschrift Journal of Machine Learning Research.

Im Artikel versuchen Ligozat und ihr Team, den CO2-Fussabdruck des LLMs Bloom, einem Sprachmodell mit 176 Milliarden Parametern, zu quantifizieren. Sie gehen dabei sowohl auf das Training des Modells als auch auf dessen Nutzung ein.

Energieverbrauch beim Training

Wie das Papier zeigt, stiess allein das Training von Bloom durch den Verbrauch von dynamischer Energie etwa 24,7 Tonnen CO2-Äquivalent aus. Dabei geht es konkret um die Erzeugung des Stroms, der strikt für die Versorgung des Modelltrainings benötigt wurde. Dieses Ergebnis basieren die Forschenden auf der Tatsache, dass der Prozess 1,08 Millionen Rechenstunden gedauert habe. Hardwareseitig kamen Nvidia A100 SXM4 Grafikprozessoren mit 80 Gigabyte Speicher zum Einsatz, die eine TDP (thermische Hüllkurve) von 400 Watt haben.

Die Forschenden schickten sich auch an, den Verbrauch aller beteiligten Prozesse zu berechnen - beginnend mit den Emissionen, die mit der Herstellung der Geräte verbunden sind, die die eingesetzten Rechenressourcen bereitstellen. Anhand von Schätzungen für die Nvidia-Chips und die HPE-Server, die für das Training von Bloom verwendet wurden, berechneten sie intrinsische Emissionen von 7,57 Tonnen für die Server und 3,64 Tonnen für die Grafikprozessoren, was insgesamt 11,2 Tonnen CO2-Äquivalent entspricht.

Zu den beiden ersten Dimensionen kommt noch der sogenannte Ruheverbrauch hinzu. Dabei handelt es sich um die Energie, die die grössere Infrastruktur versorgt, die alle beteiligten Hardwarekomponenten zusammenhält und miteinander verbindet. Hierbei stützen sich die Forschenden teilweise auf die PUE (Power Usage Effectiveness) der Rechenzentren. Dazu gehört auch der Strom, der für die Kühlung der Geräte aufgewendet wird.

Derart errechnen die Forschenden einen Ruheverbrauch von bis zu 14,6 Tonnen CO2-Äquivalent. Insgesamt schätzen sie den CO2-Fussabdruck des Bloom-Modelltrainings somit auf 50,5 Tonnen CO2-Äquivalent.

Verbrauch bei der Nutzung

Das Bloom-Modell läuft auf einer Instanz der Google Cloud Platform (GCP) mit 16 Nvidia A100-Grafikprozessoren mit 40 Gigabyte. Der Zugriff darauf läuft über eine Programmierschnittstelle (API). Um den Verbrauch der Inferenzen abzuschätzen, beobachteten die Forschenden diese Zugriffe über einen Zeitraum von 18 Tagen. Insgesamt wurden in dieser Zeit 230'768 Anfragen - durchschnittlich 558 pro Stunde – verarbeitet.

Fast ein Viertel der Energieressourcen wurde vom RAM und drei Viertel von den Grafikprozessoren verbraucht (nur 2 Prozent machten die CPUs aus).

Unter Berücksichtigung der spezifischen Kohlenstoffdichte der Cloud-Region, in der Bloom eingesetzt wird, errechneten die Forschenden einen CO2-Verbrauch von 19 Kilo pro Tag. Betrachtet man den gesamten CO2-Fussabdruck des Modells (also Training und Nutzung zusammen), so würde der Anteil, der aus den Rückschlüssen nach einem Zeitraum von einem Jahr stammt, etwa 12 Prozent betragen.

Die Forschergruppe weist darauf hin, dass ihre Schätzungen nur ein Beispiel von vielen ist. Dies, da viele verschiedene Konfigurationen für den Einsatz von Machine-Learning-Modellen verwendet werden können, von der Hardware, die für den Einsatz verwendet wird, bis hin zur Grösse der Inferenzstapel und dem Bereich, in dem das Modell ausgeführt wird. Ausserdem dürfte die Schätzung des durch Inferenzen verursachten CO2-Fussabdrucks stark variieren, je nachdem, wie viele Anfragen ein Modell verarbeitet.

Mehr Digitalisierung führt nicht automatisch zu weniger CO2-Emissionen. Wwas es braucht, damit Digitalisierung für den Klimaschutz vom Fluch zum Segen werden kann, diskutierten die Referierenden an einem Parldigi-Dinner im Sommer 2023. Mehr dazu erfahren Sie hier.