Ob und wann sich gemäss Cloudera eine lokale KI-Infrastruktur lohnt

Steffen Märkl Director, Solutions ­Engineering CEMEA, Cloudera. (Source: zVg)

Steffen Märkl Director, Solutions ­Engineering CEMEA, Cloudera. (Source: zVg)

In welchen Szenarien ist der Betrieb von KI-Anwendungen On-Premises oder in lokalen Rechenzentren sinnvoller als die Nutzung grosser internationaler Anbieter?

Steffen Märkl: Immer dann, wenn Daten das Unternehmen nicht verlassen dürfen – aus regulatorischen Gründen oder zum Schutz von geistigem Eigentum. Gesundheitswesen, Finanzwesen und der öffentliche Sektor sind klassische Beispiele, aber die Frage stellt sich branchenübergreifend: Warum sollte ein Unternehmen akzeptieren, dass Kundendaten bei Drittanbietern landen? Dazu kommen wirtschaftliche Argumente wie Egress-Gebühren und Anbieterabhängigkeit. Lokaler oder hybrider Betrieb ist in diesen Fällen strategisch notwendig.

Ist es realistisch und sinnvoll, KI-Anwendungen für Unter­nehmenslösungen komplett lokal zu betreiben?

Es ist realistisch – aber nur mit der richtigen Vorbereitung. Private AI ist keine Frage des Standorts allein, sondern eine Architekturentscheidung: vom vollständig lokalen Betrieb bis hin zu hybriden Modellen. Was es braucht, ist eine saubere, strukturierte Datenbasis mit durchgängiger Governance. Wer das nicht hat, wird auch lokal scheitern. Der Vorteil gegenüber externen Lösungen: Unternehmen behalten die volle Kontrolle über ihre Daten, ihr geistiges Eigentum und die Einhaltung regulatorischer Vorgaben – ohne Abhängigkeit von Drittanbietern.

Was ist essenziell beim Aufbau einer lokalen KI-Infrastruktur?

Die meisten KI-Projekte scheitern nicht am Modell, sondern an der Datenbasis. Unsere globale Umfrage zeigt, dass nur 9 Prozent der Unternehmen vollständigen Zugang zu ihren Daten haben, während 50 Prozent unkontrollierten Datenabfluss beim Modelltraining als Risiko nennen. Der Dreiklang aus Datenqualität, Sicherheit und Fähigkeiten ist die eigentliche Hausaufgabe. Ohne Unified Governance, offene Standards wie Apache Iceberg und einen Compute-to-Data-Ansatz wird KI zum Compliance-Risiko.

Nach welchen Kriterien sollte man zwischen Standard-KI-Modellen und massgeschneiderten Lösungen entscheiden, um den ROI zu maximieren?

Die entscheidende Frage ist nicht, welches Modell, sondern welche Daten. Wer Zugang zu hochwertigen, einzigartigen Unternehmensdaten hat, kann mit massgeschneiderten Modellen einen dauerhaften Wettbewerbsvorteil aufbauen. Für generische Aufgaben sind oft Standard-Foundation-Models ausreichend – die sich je nach Use Case auch mit RAG-Ansätzen kombinieren lassen, um dem Modell den passenden Kontext bereitzustellen. Der ROI maximiert sich durch eine Portfoliostrategie, die beide Herangehensweisen auf einer sicheren, einheitlichen Datenbasis kombiniert.

Welche Chancen ergeben sich dadurch für Reseller und Systemintegratoren? 

Der Druck, KI sicher und compliant zu skalieren, wächst. Viele Unternehmen wissen, was sie wollen, aber nicht wie. Mehrwert entsteht beim Aufbau von Governance-Strukturen, der Integration hybrider In­frastrukturen und der Beratung zur Datenstrategie. Wer zusätzlich Schulung und Kompetenzaufbau anbietet, wird zum langfristigen strategischen Partner.

Welche Entwicklungen in den Bereichen KI-Infrastruktur oder Datenstrategie sollten IT-Partner jetzt im Blick behalten, um in den nächsten Jahren wettbewerbsfähig zu bleiben?

96 Prozent der IT-Führungskräfte weltweit haben KI bereits integriert. Was sich verändert, sind die Prioritäten: weg von der Frage: «Welches Modell?», hin zu: «Wie gut sind unsere Daten?» Offene Standards und flexible Architekturen werden zum Differenzierungsmerkmal, da sie Anbieterabhängigkeit vermeiden. Und der Bedarf an qualifizierten Fachkräften, die KI sicher betreiben können, wächst stetig. IT-Partner, die hier investieren, werden unverzichtbar.

Die Antworten der weiteren Teilnehmenden des Podiums:

• Daniel ­Bachofner, Netapp: "Vollständig lokal ist technisch möglich, aber selten optimal."
• Massimo Fumagalli, VAR Group: "Entscheidend sind klare Governance, Compliance und Schulung, um KI sicher und wirksam einzusetzen."
• Daniel ­Henneke, HPE: "Häufig ist eine Hybrid- oder Edge-First-Lösung vorteilhafter."
• Romano Roth, Zühlke: "Reine Ideologie in die eine oder andere Richtung ist selten wirtschaftlich."
• Christoph Schnidrig, AWS: "Lokale Hardware veraltet schneller, als der ROI erreicht wird."
• Roland Stritt, Fast LTA: "Wer lokal inferiert, entscheidet selbst, wer welche Antworten bekommt."
• Dominik Wotruba, Red Hat: "Komplett lokale KI-Anwendungen sind gut machbar bei Inferenz mit vortrainierten Modellen."

Abonnieren Sie jetzt den Newsletter des "IT-Markt", der Info-Drehscheibe für den Schweizer IT-Channel und verpassen Sie keine News mehr. Der Newsletter liefert Ihnen täglich die relevanten Meldungen für die Entscheider im Schweizer IT-Channel - vom Reseller über den Systemintegrator bis zum Disti.