Artifical intelligence (AI) staat hoog op de agenda voor het transformeren van de wijze waarop bedrijven functioneren, omdat deze technologie betere inzichten en efficiëntie mogelijk maakt. Toch belemmeren uitdagingen bij het toegankelijk maken en beheren van diverse datasets in verschillende omgevingen nog vaak het succesvol implementeren van AI. In dit artikel is te lezen hoe innovaties op het gebied van data lakehouse technologieën uitkomst kunnen bieden.
Uit recent onderzoek van EY blijkt dat de adoptie van AI in Nederland achterblijft ten opzichte van andere Europese landen. Nederland staat onderaan met een adoptie onder werknemers van 66 procent, terwijl dit in landen als Spanje (84%) en Zwitserland (82%) beduidend hoger ligt. Ondanks een aantal uitdagingen zijn de voordelen van AI-adoptie al duidelijk, vooral gemeten naar kostenbesparingen: in heel Europa zegt bijna de helft van de ondervraagde managers (45%) dat het gebruik van AI hen helpt om kosten te besparen, de winst te verhogen, of beide.
Als reactie op de uitdagingen waar bedrijven tegenaan lopen ontwikkelt de technologiewereld innovaties op het gebied van open data lakehouse-technologieën, die een solide basis bieden voor AI en analytics. Hieronder worden de belangrijkste technologische ontwikkelingen en hun voordelen belicht, met de focus op bedrijfsbrede implicaties in plaats van specifieke producten.
- Data-uitdagingen overwinnen
Een van de grootste obstakels bij AI-implementaties is het efficiënt toegankelijk maken en beheren van data die verspreid is over verschillende omgevingen. Daarom worden er open data lakehouse-technologieën ontwikkeld en innovatieve oplossingen geïntroduceerd. Door een open tabelformaat te gebruiken, zoals te zien is in sommige ontwikkelingen, kunnen bedrijven op een betrouwbare wijze kritische data gebruiken in AI-projecten. Deze aanpak vergemakkelijkt de interoperabiliteit, waardoor verschillende ‘compute engines’, zoals Spark, Flink, Impala en NiFi, gelijktijdig datasets binnen de open data lakehouse kunnen openen en verwerken.
- Time travel, schema-evolutie en data-discovery
Er worden ook technische innovaties ontwikkeld om het beheer van data lakes te verbeteren en tegelijkertijd de integriteit van data te behouden. Functies zoals time travel, schema-evolutie en gestroomlijnde data discovery dragen bij aan het verbeteren van de effectiviteit van open data lakehouse-technologieën. Time travel stelt datateams in staat om historische datastatussen te doorkruisen, wat helpt bij trendanalyses en historische prestatie-evaluaties. Ondertussen zorgt schema-evolutie voor de aanpasbaarheid aan veranderende datastructuren, cruciaal voor organisaties die streven naar naleving van regelgeving en dataprivacy.
- Schaalbare dataopslagoplossingen
Naarmate AI en geavanceerde analyses in omvang blijven toenemen, wordt de vraag naar schaalbare dataopslagoplossingen belangrijker. Innovatieve technologieën zoals betere replicatie, verbeterde volumequota’s en ondersteuning voor cloud-native architecturen dragen bij aan een grotere schaalbaarheid tegen lagere kosten. Deze ontwikkelingen stellen bedrijven in staat om het toenemende datavolume te accommoderen en de databeveiliging en gereedheid voor organisatiebrede toepassingen te versterken.
- Upgrades zonder downtime
Open data lakehouse technologies erkennen de noodzaak van probleemloze upgrades en introduceren daarvoor Zero Downtime Upgrades (ZDU). Deze functie biedt organisaties een gemakkelijkere manier om te upgraden, met ondersteuning voor rolling upgrades voor verschillende componenten. ZDU streeft ernaar om workflowonderbrekingen te minimaliseren, downtime te verminderen en daarmee de productiviteit te verhogen. Door one-stage en automatische upgrades van grote clusters toe te staan, zorgt ZDU ervoor dat organisaties hun systemen up-to-date kunnen houden zonder langdurige en kostbare downtime te ervaren.
- Zorgen voor datagovernance en beveiliging
Het respecteren van governance- en beveiligingsmaatregelen is niet onderhandelbaar in het veranderende datamanagementlandschap. Open data lakehouse-technologieën integreren daarom krachtige databeveiligings- en governancelagen, die een fundamenteel raamwerk bieden voor het beschermen van gevoelige bedrijfsgegevens. Deze lagen zorgen voor een consistente beleidstoepassing, ondersteunen het naleven van regelgeving zoals de Algemene Verordening Gegevensbescherming (AVG) en versterken de algehele data-integriteit.
- Hybride aanpak voor maximale flexibiliteit
Het belang van een hybride aanpak kan niet genoeg worden benadrukt als het gaat om het maximaliseren van de waarde van bedrijfsgegevens. Open data lakehouse-technologieën zijn ontworpen om verplaatsbare, cloud-native analyses te bieden die kunnen worden ingezet in diverse infrastructuren. Deze aanpak stelt organisaties namelijk in staat om consistente data governance en beveiliging te behouden, waardoor analyses kunnen worden uitgevoerd in de omgeving die het meest geschikt is voor hun specifieke vereisten.
Het evoluerende landschap van open data lakehouse-technologieën brengt een reeks innovaties met zich mee die zijn ontworpen om de uitdagingen van AI-implementatie aan te pakken. Variërend van het overwinnen van obstakels voor de datatoegangelijkheid, tot het garanderen van schaalbare opslagoplossingen en naadloze upgrades. Daarom vormen deze technologieën de toekomst van databeheer in het AI-tijdperk. De focus op interoperabiliteit, data-integriteit en een hybride aanpak onderstreept de bredere implicaties van deze ontwikkelingen en benadrukt hun rol bij het faciliteren van organisaties om de maximale waarde uit hun data-activa te halen.
Door: Rein de Jong, Regional Vice President BeNeLux van Cloudera