Scale-out-Speicherlösungen für unstrukturierte Daten

Laut dem «Global Industry Vision»-Bericht von Huawei wird das weltweite Datenvolumen bis 2025 rund 180 Zettabyte (ZB) erreichen, wovon über 80% unstrukturierte Daten sein werden. Prognosen zufolge werden 25% der unstrukturierten Daten zu diesem Zeitpunkt für die Produktion und die Entscheidungsfindung verwendet werden, wobei diese Zahl bis 2030 auf 80% ansteigen wird. 

Unstrukturierte Unternehmensdaten wachsen mit der Entwicklung neuer Technologien und Anwendungen wie 5G, Cloud Computing, Big Data, KI und High Performance Data Analytics (HPDA) schnell von Petabytes (PB) auf Exabytes (EB) an. Diese Daten umfassen eine Mischung aus Video-, Bild- und Dateitypen.

Ein grosser Carrier kann im Durchschnitt täglich bis zu 15 PB an Daten verarbeiten. In HPDA-Szenarien kann ein einziger DNA-Sequenzer, ein Fernerkundungssatellit oder ein autonom fahrendes Trainingsfahrzeug bis zu 180 PB Daten pro Jahr erzeugen. 

Weitere Beispiele finden sich in der Finanzbranche, wo eine Grossbank ihre Finanz-Big-Data-Plattform und ihre KI-Analyseplattform nutzt, um Online-Kreditvergaben in Echtzeit zu erleichtern. Dies hilft der Bank, den Kreditantragsprozess von 15 Minuten auf nur 1 Minute zu verkürzen und die Genauigkeit bei der Identifizierung von Risikokandidaten um 80% zu verbessern.

Anforderungen an professionelle Scale-out-Speicherlösungen

Demnach sucht eine wachsende Zahl von Branchen professionelle Scale-out-Speicherlösungen für Unternehmensrechenzentren, um unstrukturierte Daten effizient und sicher zu speichern. Hierbei ist erstens wichtig, dass die Speicherkapazität ausreicht, um mehr Daten bei minimalen Kosten, geringem Platzbedarf und niedrigem Stromverbrauch zu speichern:

• Skalierbarkeit ist von grösster Bedeutung. Ein einziger Cluster muss Tausende von Knoten unterstützen, um die Zuweisung und Verwaltung von Speicherressourcen zu vereinfachen. Ausserdem müssen Kapazität und Leistung linear mit der Anzahl der Knoten steigen.
• Die herkömmliche Technik der Mehrfachkopien stellt auch ein Kapazitätshindernis für die Speicherung unstrukturierter Daten dar. Um die Nutzung des Speicherplatzes zu optimieren, sind Datenreduzierungstechniken wie Erasure Coding (EC), Deduplizierung und Komprimierung erforderlich, die von professionellen Scale-out-Speichern bereitgestellt werden. 
• Professionelle Scale-out-Storage-Lösungen integrieren Software und Hardware, um Unternehmenskunden End-to-End-Lösungen mit hoher Zuverlässigkeit, Leistung und Skalierbarkeit zu bieten. Dies vereinfacht Bereitstellung, Verwaltung und Services.
   

Zweitens muss die Speicherung eine effiziente, bedarfsgerechte und richtliniengesteuerte Datenmobilität sowohl innerhalb als auch zwischen Rechenzentren ermöglichen.

• Die Bereitstellung von Rechenzentren mit mehreren Regionen erfordert die Data-Fabric-Funktion, um die gemeinsame Nutzung von Datenressourcen zwischen verschiedenen Regionen, Clustern, Anbietern und Formen zu ermöglichen, mit effizienter und bedarfsgerechter Datenplanung über eine grafische Topologieansicht.
• In einem Rechenzentrum kann professionelles Scale-out-Storage verwendet werden, um Hot-, Warm- und Cold-Data-Tiering zu implementieren, bei dem Daten automatisch auf verschiedene Ebenen verlagert werden, um einen optimalen ROI zu erzielen.

Drittens muss die Speicherung eine erstklassige Datennutzbarkeit gewährleisten, damit hybride Arbeitslasten mit Video-, Audio-, Bild- und Textdaten problemlos bewältigt werden können.

• Unstrukturierte Mass Data dienen einer breiten Palette von Anwendungen. Daher ist All-Flash-Scale-out-Storage, der speziell für hybride Workloads entwickelt wurde, die beste Wahl, um Datensilos zu vermeiden und sowohl eine hohe Bandbreite für Video-, Audio- und Network-Attached-Storage-Szenarien als auch hohe IOPS für Bild-, Abruf- und Abfrageszenarien zu bieten. All-Flash-Scale-out-Speicher bietet eine deutlich geringere Lese- und Schreiblatenz als herkömmlicher HDD-Speicher und ermöglicht so eine schnellere Datenverarbeitung.
• Speichersysteme müssen nicht nur grosse Mengen an unstrukturierten Daten speichern, sondern diese auch effektiv verwalten. Zum Beispiel durch die Beschleunigung von Abfragen und Abrufen auf der Grundlage von Metadaten sowie durch die Identifizierung heisser und kalter Daten für eine angemessene Verwaltung des Datenlebenszyklus.
• Der Speicher fungiert auch als Last Line of Defense und muss daher Ransomware-Schutz, DR- und Backup-Funktionen sowie eine hohe Zuverlässigkeit gewährleisten.

Um die Effizienz der Nutzung unstrukturierter Mass Data für die Produktion zu verbessern, eignet sich besonders ein professionelles Scale-out-Speichersystem, das eine globale, einheitliche Datenspeicherungsgrundlage schafft, die auf unstrukturierten Daten basiert.