Ob und wann sich gemäss VAR Group eine lokale KI-Infrastruktur lohnt

Massimo Fumagalli, Country Manager, VAR Group Suisse. (Source: zVg)

Massimo Fumagalli, Country Manager, VAR Group Suisse. (Source: zVg)

In welchen Szenarien ist der Betrieb von KI-Anwendungen On-Premises oder in lokalen Rechenzentren sinnvoller als die Nutzung grosser internationaler Anbieter?

Massimo Fumagalli: On-Premises- oder lokale KI-Lösungen sind besonders vorteilhaft, wenn Daten strategisch wichtig, sensibel oder stark reguliert sind. Das gilt etwa für das Gesundheitswesen, die Finanzen, Verwaltung oder Verteidigung sowie beim Umgang mit geistigem Eigentum oder vertraulichen Informationen. Weitere Vorteile bestehen bei niedriger Latenz und hoher Zuverlässigkeit, etwa in Industrie und Produktion, wo schnelle Reaktionen entscheidend sind. 

Ist es realistisch und sinnvoll, KI-Anwendungen für Unternehmenslösungen komplett lokal zu betreiben?

Vollständig On-Premises betriebene KI ist sinnvoll bei extrem sensiblen Daten, strengen Vorschriften oder in isolierten beziehungsweise Offlineumgebungen. Für die meisten Unternehmen ist ein hybrider Ansatz effizienter: Cloud-KI für Produktivität mit unkritischen Daten, private KI für vertrauliche Prozesse. Entscheidend sind klare Governance, Compliance und Schulung, um KI sicher und wirksam einzusetzen.

Was ist essenziell beim Aufbau einer lokalen KI-Infrastruktur?

Der Aufbau einer lokalen KI-Infrastruktur erfordert leistungsstarke Rechenkapazität – insbesondere GPUs mit guter Kühlung –, schnellen Speicher für den reibungslosen Datenfluss und Backups, geeignete Software zur Modellnutzung (Inference), eine RAG-Pipeline zur Verknüpfung mit Unternehmensdaten sowie robuste Sicherheits- und Monitoring-Systeme. Diese Elemente sichern Leistung, Zuverlässigkeit, Datenschutz und nachhaltigen Betrieb.

Nach welchen Kriterien sollte man zwischen Standard-KI-Modellen und massgeschneiderten Lösungen entscheiden, um den ROI zu maximieren?

Die Wahl hängt von Daten, Komplexität, Kosten und strategischem Nutzen ab: Standardmodelle bieten einen schnellen, günstigen Einstieg für generische Aufgaben und einen hohen kurzfristigen ROI. Massgeschneiderte Lösungen lohnen sich bei sensiblen Daten, klar differenzierenden Use Cases oder spezifischem Know-how, da sie präzisere Ergebnisse und Wettbewerbsvorteile liefern. Oft maximiert ein hybrider Ansatz den ROI.

Welche Chancen ergeben sich dadurch für Reseller und System­integratoren? 

Für Reseller und Systemintegratoren entstehen Chancen als strategische Partner: Sie beraten bei Architektur und Use-Case-Auswahl, implementieren hybride KI-Lösungen und integrieren sie in bestehende Systeme. Zusätzliche Erlöse entstehen durch Betrieb, Sicherheit, Governance, Schulung und Optimierung. Mit Managed Services und branchenspezifischen Lösungen sichern sie sich wiederkehrende Umsätze und langfristige Kundenbindung. Wichtig ist zudem das Zusammenspiel verschiedener Anbieter in der Wertschöpfungskette, es entsteht ein eigentliches Ökosystem. 

Welche Entwicklungen in den Bereichen KI-Infrastruktur oder Datenstrategie sollten IT-Partner jetzt im Blick behalten, um in den nächsten Jahren wettbewerbsfähig zu bleiben?

IT-Partner sollten hybride KI-Architekturen (Cloud + On-Prem), effiziente GPU-/Edge-Infrastrukturen und Kostenoptimierung im Blick behalten. Zentral sind Datenstrategien wie RAG, Datenqualität und Governance. Ebenso wichtig sind sichere Modellbereitstellung, Observability und Compliance. Trends wie kleinere spezialisierte Modelle, Automatisierung (Agents) und steigende Anforderungen an Datenschutz und Souveränität prägen die nächsten Jahre.

Die Antworten der weiteren Teilnehmenden des Podiums:

• Daniel ­Bachofner, Netapp: "Vollständig lokal ist technisch möglich, aber selten optimal."
• Daniel ­Henneke, HPE: "Häufig ist eine Hybrid- oder Edge-First-Lösung vorteilhafter."
• Steffen Märkl, Cloudera: "Private AI ist keine Frage des Standorts allein, sondern eine Architekturentscheidung."
• Romano Roth, Zühlke: "Reine Ideologie in die eine oder andere Richtung ist selten wirtschaftlich."
• Christoph Schnidrig, AWS: "Lokale Hardware veraltet schneller, als der ROI erreicht wird."
• Roland Stritt, Fast LTA: "Wer lokal inferiert, entscheidet selbst, wer welche Antworten bekommt."
• Dominik Wotruba, Red Hat: "Komplett lokale KI-Anwendungen sind gut machbar bei Inferenz mit vortrainierten Modellen."

Abonnieren Sie jetzt den Newsletter des "IT-Markt", der Info-Drehscheibe für den Schweizer IT-Channel und verpassen Sie keine News mehr. Der Newsletter liefert Ihnen täglich die relevanten Meldungen für die Entscheider im Schweizer IT-Channel - vom Reseller über den Systemintegrator bis zum Disti.