Forschende der EPFL untersuchen Cloud-Alternative für KI-Inferenz

Ein Forschungsteam des Labors für verteilte Informatik der Eidgenössischen Technischen Hochschule Lausanne (EPFL) untersucht eine Alternative zur cloudbasierten Inferenz von künstlicher Intelligenz. Die Forschenden haben laut einem Blogbeitrag eine experimentelle Software namens Anyway Systems entwickelt. Diese sei in der Lage, KI-Modelle lokal auszuführen, ohne auf die Dienste von Drittanbietern zurückzugreifen.

Die Verwendung von KI zur Verarbeitung sensibler Daten habe in den vergangenen drei Jahren stark zugenommen, schreibt die EPFL - insbesondere bei medizinischen Unterlagen, Kundenanfragen oder vertraulichen Geschäftsdokumenten. In den meisten Fällen basieren solche Anwendungen laut dem Blogbeitrag auf zentralisierten Cloud-Infrastrukturen: Die Anfragen werden an entfernte Rechenzentren gesendet, wo die Modelle eine Antwort generieren. Die Antwort werde dann an die User zurückgesendet.

Dieser Mechanismus, der als Inferenz bezeichnet wird, beanspruche derzeit den Grossteil der Rechenleistung im Zusammenhang mit KI, insbesondere für LLMs. Die EPFL betont, dass diese Konzentration weitgehend auf grossen Rechenzentren beruht. Dies habe Auswirkungen auf Ressourcen, Datenschutz und die digitale Souveränität.

Lokale Umsetzung und Koordination der Ressourcen

Mit Anyway Systems bieten Gauthier Voron, Geovani Rizk und Rachid Guerraoui eine Software, die KI-Anfragen direkt in einem lokalen Netzwerk bearbeitet - ohne dabei externe Cloud-Dienste in Anspruch zu nehmen. Die Software ermögliche die Ausführung von Open-Source-KI-Modellen, indem sie automatisch die Rechenleistung mehrerer miteinander verbundener Computer koordiniere. Sie basiert gemäss dem Blog auf Selbststabilisierungstechniken aus der verteilten Datenverarbeitung. Diese seien darauf ausgelegt, den Dienst auch während des Ausfalls bestimmter Maschinen aufrechtzuerhalten.

Den Forschenden zufolge können Open-Source-LLMs somit mit geringeren Hardware-Ressourcen als bisher angenommen eingesetzt werden. Ein Modell wie GPT-120B könne auf vier mit Standard-GPUs ausgestatteten Rechnern zu geschätzten Kosten von etwa 10'000 Franken betrieben werden, während zuvor wesentlich umfangreichere Infrastrukturen als notwendig galten. Guerraoui betont im Blogbeitrag, dass dieser Ansatz die Annahme in Frage stelle, dass LLMs grundsätzlich massive Rechenzentren erfordern.

Durch die lokale Ausführung werde zudem vermieden, dass sensible Daten an externe Dienste gesendet werden. So können laut EPFL die Risiken im Zusammenhang mit Sicherheit und Wiederverwendung von Informationen begrenzt werden. Ausserdem werde damit den Herausforderungen der digitalen Souveränität Rechnung getragen, wenn Organisationen die Kontrolle über ihre Modelle und Infrastrukturen zurückerhalten würden. Die Inferenz macht im Bezug auf die Umwelt zwischen 80 und 90 Prozent der mit KI verbundenen Rechenleistung aus und trägt zur Zunahme energieintensiver Rechenzentren bei, wie die EPFL weiter schreibt. Pilotversuche mit Anyway Systems würden eine leichte Erhöhung der Latenz ohne Genauigkeitsverlust zeigen.

Die Software sei das Ergebnis langjähriger Forschung im Bereich der verteilten Datenverarbeitung und Fehlertoleranz und hat laut Blogbeitrag das Prototypenstadium bereits hinter sich gelassen. Derzeit werde sie in Unternehmen und Behörden in der Schweiz getestet. Ausserdem sei das Start-up Anyway Systems im Rahmen des Start-up Launchpad AI Track, einem Schweizer Förderprogramm für Projekte im Bereich KI, ausgewählt worden, um seinen Weg zur Markteinführung zu begleiten.

Übrigens: Das Marktforschungsunternehmen IDC berechnet für das Jahr 2025 IT-Ausgaben, die um rund 14 Prozent angestiegen sind. Die Investitionen werden getrieben durch KI-Infrastruktur, Cloud-Dienste sowie den Erneuerungszyklus von PCs. Hier können Sie mehr dazu lesen.