Ob und wann sich gemäss Zühlke eine lokale KI-Infrastruktur lohnt

Romano Roth, Chief of Cybernetic Transformation & Partner, Zühlke. (Source: zVg)

Romano Roth, Chief of Cybernetic Transformation & Partner, Zühlke. (Source: zVg)

In welchen Szenarien ist der Betrieb von KI-Anwendungen On-Premises oder in lokalen Rechenzentren sinnvoller als die Nutzung grosser internationaler Anbieter?

Romano Roth: Gerade in der Schweiz, wo das revidierte Datenschutzgesetz (revDSG) und Regulierungsbehörden wie die Finma strenge Vorgaben setzen, ist Datensouveränität ein zentrales Argument für den lokalen Betrieb. Wir sehen das besonders bei Finanzdienstleistern und im Gesundheitswesen. Am Kinderspital Zürich etwa läuft die KI-Plattform bewusst On-Premises, weil Patientendaten das Haus nicht verlassen dürfen. Auch bei industriellen Echtzeitanwendungen ist der Betrieb vor Ort oft die bessere Wahl.

Ist es realistisch und sinnvoll, KI-Anwendungen für Unter­nehmenslösungen komplett lokal zu betreiben?

Technisch ist es heute realistischer denn je. Open-Source-Modelle lassen sich mit Plattformen wie Ollama oder Nvidia NIM sicher hinter der eigenen Firewall betreiben. Der Betrieb komplett lokal erfordert allerdings eigenes Know-how für Betrieb, Monitoring und Updates. Wir empfehlen einen risikobasierten Ansatz: Sensible Daten lokal verarbeiten, für unkritische Aufgaben Cloud-Dienste nutzen. Reine Ideologie in die eine oder andere Richtung ist selten wirtschaftlich.

Was ist essenziell beim Aufbau einer lokalen KI-Infrastruktur?

Skalierbarkeit: Die Plattform muss mit den Anforderungen wachsen, ohne dass jedes Modell ein Infrastrukturprojekt wird. Das erfordert eine modulare Architektur, die KI-Komponenten als Selfservice bereitstellt. Und die Menschen: Lokale KI-Infrastruktur ist nutzlos ohne Fachkräfte, die sie betreiben und weiterentwickeln. Viele Unternehmen unterschätzen den organisatorischen Wandel hin zum Cybernetic Enterprise.

Nach welchen Kriterien sollte man zwischen Standard-KI-Modellen und massgeschneiderten Lösungen entscheiden, um den ROI zu maximieren?

Entscheidend sind klare, messbare Ziele: Welche Genauigkeit braucht der Chatbot? Welche Latenz hat der VoiceBot? Wie hoch muss die Erkennungsrate in der Qualitätskontrolle sein? Unsere Studie mit der ETH Zürich (633 Unternehmen) zeigt: Der grösste Business Impact entsteht, wenn KI auf eigene Daten und Prozesse zugeschnitten ist. Zum Start Standardmodelle, bei Schlüsselanwendungen Spezialisierung, kontinuierlich messen und anpassen.

Welche Chancen ergeben sich dadurch für Reseller und Systemintegratoren?

Lokale KI-Infrastruktur braucht entsprechende Ökosysteme. Am Kinderspital Zürich etwa arbeiten Cisco, Netcloud, 44ai und Zühlke zusammen, von der Hardware über das Netzwerk bis zur KI. So entstehen Lösungen, die kein Einzelner allein liefern kann. Gefragt sind Partner mit Fachdomänen-Wissen, die KI nicht nur installieren, sondern in Geschäftsprozesse einbetten. Wer hier Kompetenzen vorweist, wird zum strategischen Partner statt zum austauschbaren Lieferanten.

Welche Entwicklungen in den Bereichen KI-Infrastruktur oder Datenstrategie sollten IT-Partner jetzt im Blick behalten, um in den nächsten Jahren wettbewerbsfähig zu bleiben?

KI-Agenten verändern die Spielregeln. KI liefert nicht mehr nur Vorschläge, sondern handelt zunehmend autonom. In unseren Projekten sehen wir bereits eine Produktivitätssteigerung von 30 Prozent. Das erfordert neue Infrastruktur für Orchestrierung, Governance und Monitoring von Agenten-Systemen. Dazu kommen Techniken wie RAG und Federated Learning, bei denen Daten dort bleiben, wo sie entstehen. Wer flexibel bleibt und Vendor Lock-in vermeidet, ist für diesen Wandel gerüstet.

Die Antworten der weiteren Teilnehmenden des Podiums:

• Daniel ­Bachofner, Netapp: "Vollständig lokal ist technisch möglich, aber selten optimal."
• Massimo Fumagalli, VAR Group: "Entscheidend sind klare Governance, Compliance und Schulung, um KI sicher und wirksam einzusetzen."
• Daniel ­Henneke, HPE: "Häufig ist eine Hybrid- oder Edge-First-Lösung vorteilhafter."
• Steffen Märkl, Cloudera: "Private AI ist keine Frage des Standorts allein, sondern eine Architekturentscheidung."
• Christoph Schnidrig, AWS: "Lokale Hardware veraltet schneller, als der ROI erreicht wird."
• Roland Stritt, Fast LTA: "Wer lokal inferiert, entscheidet selbst, wer welche Antworten bekommt."
• Dominik Wotruba, Red Hat: "Komplett lokale KI-Anwendungen sind gut machbar bei Inferenz mit vortrainierten Modellen."

Abonnieren Sie jetzt den Newsletter des "IT-Markt", der Info-Drehscheibe für den Schweizer IT-Channel und verpassen Sie keine News mehr. Der Newsletter liefert Ihnen täglich die relevanten Meldungen für die Entscheider im Schweizer IT-Channel - vom Reseller über den Systemintegrator bis zum Disti.