Effektives Datenmanagement ist der Schlüssel, um das Beste aus KI herauszuholen, sagt Redmond O’Leary
Redmond O’Leary, InterSystems
In Zusammenarbeit mit Intersystems
Selbst die erfolgreichsten Unternehmen können mit der Aufgabe überfordert sein, Datenfluten zu organisieren, die aus vielen verschiedenen Quellen in ihre Systeme strömen.
Die Notwendigkeit, alle Daten mit maximaler Effizienz zu organisieren, zu bereinigen und zu verwalten, ist unerlässlich geworden. Ohne effektives Datenmanagement werden Unternehmen ihre Teams niemals in die Lage versetzen, künstliche Intelligenz, maschinelles Lernen oder Visualisierungstools einzusetzen, die die Tür zu mehr Effizienz, schneller Innovation und neuen Einnahmen öffnen. Doch wie das globale Technologieberatungsunternehmen Gartner in feststellte ein Dokument Zu Beginn dieses Jahres wird der Weg zu einem datengetriebenen Ansatz durch die wachsende Vielfalt von Daten und deren verteilte Natur erschwert.
Die Verwaltung der sich ständig anhäufenden Informationsmasse ist schwierig, selbst wenn es um relativ einfache Transaktionsdaten geht. Aber Verwaltung und Vorbereitung werden sehr problematisch, wenn die Daten in vielen Formaten vorliegen, darunter unstrukturierte Streaming-Videos, Standbilder, Social-Media-Beiträge, Beobachtungsprotokolle, Besprechungsnotizen oder Dokumente, die von mehreren Händen erstellt wurden. Wenn Organisationen mit der Verwaltung zu kämpfen haben, werden Datenfelder leicht verwechselt, was das Vertrauen in die Daten untergräbt, die Endbenutzer innerhalb des Unternehmens benötigen. Ein Unternehmen, das beispielsweise viele Bilder verwendet, wird auf das ernsthafte Problem falsch gekennzeichneter fotografischer Informationen stoßen, die erhebliche Hindernisse für Effizienz, Kundenerlebnis und Innovation verursachen.
Der Schaden, der durch die falsche Verwaltung unterschiedlicher Daten verursacht wird
Die Folgen eines schlechten Datenmanagements können erheblich sein. KI-basierte Sicherheitsanwendungen, die zur Erkennung von Bedrohungen auf qualitativ hochwertige Daten angewiesen sind, können beispielsweise unannehmbare Verzerrungen aufweisen und ohne größere Anpassungen vollständig unbrauchbar werden. Organisationen in stark regulierten Umgebungen können feststellen, dass sie die Meldepflichten nicht einhalten und sich Bußgeldern und Strafen aussetzen.
Das Sortieren einer unübersichtlichen Datenmenge kostet Unternehmen Geld, schadet der Effizienz und verschafft besser aufgestellten Wettbewerbern einen Vorteil. Unternehmen, die ihre Daten einfach und schnell verwalten und aufbereiten und nahezu in Echtzeit nutzen können, können den wahren Wert, den sie enthalten, erschließen, vielleicht eine Goldmine identifizieren oder Ressourcen sparen, indem sie die Speicherung unnötiger Duplikate reduzieren.
Data Lake und andere Lösungen brauchen jetzt Hilfe
Um diese Probleme zu lösen, haben Organisationen in der jüngeren Vergangenheit Data Lakes verwendet. Nachdem sie alle Daten, die sie haben, in einen See geworfen hatten, hofften sie, die Werkzeuge zu finden, um die „sieben Vs“ von Big Data zu verwalten: Volumen, Vielfalt, Geschwindigkeit, Wahrhaftigkeit, Wert, Variabilität und Visualisierung.
Data Lakes gehen in gewisser Weise in diese Richtung und haben den Vorteil, dass sie relativ kostengünstig sind, aber sie sind nicht die beste Option, wenn Unternehmen in Echtzeit oder nahezu real Erkenntnisse aus ihren Live- oder Betriebsdaten gewinnen möchten. Unternehmen mit Seen speichern möglicherweise Daten für sich selbst, ohne dass Informationen über deren Qualität vorliegen. Während es Analyse- und Business-Intelligence-Tools gibt, die ein Bild von der Datengesundheit eines Unternehmens zeichnen, müssen gut bezahlte und hochqualifizierte Datenwissenschaftler die Informationen immer noch ordnen und bereinigen, was nicht die beste Nutzung ihrer Zeit ist.
Eine Alternative oder Nachfolger zum Data Lake ist das „Data Warehouse“. Unternehmen nutzen Warenhäuser, um auf große Mengen aller Arten von Daten zuzugreifen, z. B. Kundentransaktionen, Produktlinienvolumina usw. Das Warehouse ist eine strukturierte Version des Lake, und obwohl es einen besseren Zugriff auf nutzbare Daten im gesamten Unternehmen bietet, ist es teuer in der Wartung und erfordert auch Fachwissen, um Daten effizient zu importieren, zu strukturieren, zu pflegen und zu sichern.
Der „Data Mart“ ist eine weitere Alternative. Als Teil des Lagers eignet es sich gut für Abteilungen wie die Personalabteilung oder die Gehaltsabrechnung, da es schneller, sicherer und kostengünstiger ist. Es ist auch einfacher zu warten als ein Lager. Der offensichtliche Nachteil ist jedoch, dass es in erster Linie einer Funktion oder einem Unternehmensbereich dient und nicht mehrere unternehmensweite Anwendungen unterstützt.
Cloud-Migration trägt massiv zu Komplikationen bei
Diese Datenverwaltungs- und Operationalisierungsprobleme werden selbst für Unternehmen immer komplizierter, die mit der digitalen Transformation begonnen und Daten und Anwendungen in die Cloud migriert haben.
Sogar die Cloud verfügt über Legacy-Systeme, die das Verschieben von Daten-Workloads erschweren und teuer machen, Innovationen ersticken und die Kosten in die Höhe treiben. Die Cloud selbst wird nun zu einem Silo, das immer komplexer wird, da es mehr Informationen und mehr Anwendungen beherbergt. Daten mögen in der Cloud sicher sein, aber sie müssen dennoch organisiert und verwaltet und ihre Qualität überprüft und verbessert werden, bevor ein Unternehmen sie verwenden kann. Dies wird noch komplexer, wenn Unternehmen hybride On-Premises-/Cloud-Infrastrukturen einführen und durch die eigenen Systemanforderungen von Cloud-Anbietern. Cloud-Anbieter können Systeme nach ihren eigenen Zeitplänen ändern oder aktualisieren, was sich auf ein Unternehmen auf breiterer Ebene als nur auf die Datenverwaltung auswirkt.
Unternehmen brauchen daher einen anderen Ansatz, um alle ihre Daten organisieren, verwalten und bereinigen zu können, um sie unabhängig von ihrer Quelle oder ihrem Standort voll funktionsfähig zu machen. Aber wie kann dies angesichts der enormen Datenmengen, die das moderne Unternehmen ansammelt, ohne eine massive Umstrukturierung der Architektur oder die Implementierung zahlreicher, kostspieliger und zeitaufwändiger neuer Datenverwaltungsanwendungen erreicht werden?
Die Vereinfachung auf einer einheitlichen Plattform ist der Schlüssel
Die Antwort liegt in der Vereinfachung und dem Konzept der Smart Data Fabric. Anstatt die massive Arbeit der Konsolidierung aller Daten zu leisten, können Unternehmen eine Datenplattform bereitstellen, die das wesentliche Element der Struktur darstellt. Cloudfähige Plattformen können aus nahezu jeder Quelle vereinfachen, standardisieren und rationalisieren, indem sie Data Lakes, Warehouses und Stores transformieren, sodass ein Unternehmen erweiterte Datenfunktionen zur Verwendung durch seine Frontline-Teams integrieren kann.
Eine globale Investmentbank hatte beispielsweise einen Petabyte-großen Hadoop-basierten Data Lake, der kein Echtzeit-Streaming von Daten unterstützen konnte, was viele Herausforderungen in Bezug auf Leistung, Skalierbarkeit und Reaktionszeit verursachte. Es gab keine Unterstützung für Advanced Analytics oder Ad-hoc-Data-Mining. Nach der Bereitstellung einer Datenverwaltungsplattform verfügte die Bank über eine schnelle Datenschicht, die ihr alle Funktionen gab, die ihr fehlten, eingehende Transaktionsdaten mit hoher Geschwindigkeit verarbeitete und mehrere Datenanalyseanforderungen unterstützte: Portfolioanalyse, Risiko und Compliance. In seinem Auftragsverwaltungssystem konnte es mit dieser Implementierung eine Reduzierung der Betriebskosten um 75 % realisieren.
Die Beschleunigung von Data Lakes in dieser Größenordnung ist sehr typisch für die jetzt verfügbaren Fortschritte, die eine nahtlose Integration unterschiedlicher Unternehmensdaten und Verwaltung über einzelne APIs ermöglichen, unabhängig davon, wo sich die Daten befinden. Durch die Implementierung einer Datenplattform kann ein Unternehmen seinen See mit einer semantischen Schicht vervollständigen, die die Möglichkeit bietet, Daten zu kombinieren und zu analysieren. Es kann bei Bedarf Terabytes an Live-Daten mit tiefen historischen Informationen verknüpfen.
Dieser Ansatz ist in Data Warehouses, Data Marts, relationalen und Column Store-Datenbanken gleichermaßen effektiv, wo die Plattform Daten bereinigt, organisiert und harmonisiert und die erforderliche Qualität und Konsistenz bietet.
Neue Funktionen, die das Geschäft jetzt verlangt
Unabhängig von der zugrunde liegenden Infrastruktur adressiert eine integrierte Analyseebene den Bedarf an Funktionen zur Verarbeitung natürlicher Sprache, Business-Intelligence-Anwendungen und maschinellem Lernen. Unternehmen setzen es ein, um Endbenutzern Informationen zur Verfügung zu stellen, und nutzen die Automatisierung, um ihren Data Scientists das Leben zu erleichtern. Die fortschrittlichsten Business-Tools und Echtzeitanwendungen werden bei Bedarf verfügbar und verändern die Produktivität und Entscheidungsfindung.
Angesichts des Ausmaßes der Probleme, die durch die ständig wachsenden Datenmengen, die Komplexität und den Mangel an internem Fachwissen in Data Science entstehen, müssen Unternehmen gründlich prüfen, wie sie diesen Herausforderungen begegnen. Wenn Unternehmen Datenplattformen als Grundlage einer intelligenten Datenstruktur in ihre Infrastruktur einbetten, können sie wichtige Hindernisse für eine datengesteuerte Organisation beseitigen. Sie werden agiler und effizienter und treiben Innovation und Rentabilität voran.
Redmond O’Leary ist Vertriebsleiter für Irland bei InterSystems