Wie Nvidia mit Deepfakes den Bandbreitenbedarf von Videokonferenzen senkt

Nvidia bringt eine Suite von Cloud-Tools zur Verbesserung der Qualität von Videoanrufen auf den Markt. Die sogenannte Nvidia Maxine Plattform richtet sich an Anbieter von Videokonferenzdiensten und nutzt Algorithmen, um verschiedene Effekte zu erzielen. Darunter etwa Korrekturen, eine super Auflösung, Rauschunterdrückung und Gesichtshintergrundbeleuchtung. Da die Effekte in der Cloud erzeugt werden, müssen Nutzer ihre Hardware nicht anpassen.

Die erstaunlichste Innovation ist jedoch der Einsatz künstlicher Intelligenz, um die für qualitativ hochwertige Videoanrufe benötigte Bandbreite zu reduzieren. So wird etwa nicht das gesamte Gesicht eines Videoanrufteilnehmers übertragen. Stattdessen analysiert der Algorithmus nur einzelne Schlüsselpunkte und rekonstruiert aufgrund dessen das Gesicht am anderen Ende der Leitung wieder. Es ist also eine Art Deepfake – aber für einen guten Zweck. Nach Angaben des Unternehmens reduziert diese Komprimierungstechnologie den Bandbreitenbedarf um 90 Prozent.

Ferner bietet die Maxine-Plattform eine Vielzahl von weiteren Tools, wie etwa die Verwendung von Avataren oder die Integration virtueller Assistenten mit Spracherkennungsfunktionen, beispielsweise zur Anzeige von Untertiteln oder zur Protokollierung von Diskussionen. Es ist zu erwarten, dass in Zukunft weitere Dienste unter Verwendung von Generative Adversarial Networks (GAN) entstehen werden.

Um diese Effekte zu realisieren, setzt die native Cloud-Plattform auf KI-Mikrodienste, welche auf Kubernetes-Cluster laufen. Diese wiederum werden auf GPUs ausgeführt. Die Maxine-Plattform nutzt auch die Vorteile verschiedener bestehender Nvidia-Lösungen (wie etwa Jarvis, DeepStream, TensorRT).

Anfang Oktober ist an der AiCon im Kanton Schwyz der erste Swiss AI Award verliehen worden. Der Sieger setzte sich gegen 4 weitere Firmen durch, wie Sie hier nachlesen können. Was die Veranstalter mit dem Preis erreichen wollen, erklärt der Jury-Präsident des Swiss Ai Awards und Mindfire-Gründer Pascal Kaufmann hier.