Databricks präsentiert sein Open-Source-Projekt "Delta Sharing"

Databricks hat sein Open-Source-Projekt Delta Sharing vorgestellt. Es handelt sich um ein offenes Protokoll, das gemäss Mitteilung einen sicheren Datenaustausch zwischen Unternehmen ermöglichen soll. Mit Delta Sharing liessen sich Daten in einem Ökosystem vernetzen, und zwar in Echtzeit.

Als beispielhaften Use Case nennt Databricks die Zusammenarbeit zwischen einem Krankenhaus und einem Forschungsinstitut. Geht es etwa um die Entwicklung eines Impfstoffs, könnte man über Delta Sharing Forschungsdaten auf standardisierte und sichere Weise untereinander auszutauschen, heisst es in der Mitteilung. Ein weiteres Beispiel: Ein Hersteller von Flugzeugtriebwerken könnte für Forschung und Entwicklung auf Daten von verschiedenen Fluggesellschaften zugreifen, die er beliefert.

Delta Sharing ermögliche die gemeinsame Nutzung von Daten jeglicher Art - unabhängig von Technologien, Tools und Datenformaten, heisst es weiter. Das Protokoll funktioniere mit SQL, Visual-Analytics-Tools und den Programmiersprachen Python und R. Nutzerinnen und Nutzer sollen grosse Datensätze in den Formaten Apache Parquet und Delta Lake nahtlos und in Echtzeit teilen können. Die geteilten Daten liessen sich mit allen möglichen Tools bearbeiten, einschliesslich Azure Data Share, Azure Purview, GCP Big Query, AtScale, Collibra, Dremio, Immuta, Looker, Privacera, Qlik, Power BI und Tableau.

Übrigens: Microsoft veröffentlichte im April ein eigenes Open-Source-Projekt - einen Simulator für Cyberangriffe. Die Open-Source-Software CyberBattleSim soll helfen, automatisierte Attacken und Abwehr im Cyberraum zu studieren. Mehr zu diesem Thema lesen sie hier.