Top 8 data management uitdagingen voor organisaties

Als je het hebt over datagedreven werken zijn er weinig organisaties die dat niet zullen ambiëren. Er zijn echter altijd wat hobbels op de weg naar “Data Walhalla”.  Datagedreven werken gedijt bij een functionerend fundament voor je data, en daar komt Data Management om de hoek kijken. Dit blog gaat in op een aantal van de barrières die je tegenkomt bij Data Management en hoe je ze kan doorbreken.

#1 Tekort aan kennis en mankracht

Wanneer je het hebt over Data Management zullen velen van ons denken aan Data Warehouses en ETL (Extract, Transform, and Load), één van de manieren om een Data Warehouse te vullen. Het hoe en wat van het opzetten van een DWH vergt specialistische kennis en ervaring die schaars is, de huidige arbeidsmarkt-omstandigheden verergeren die schaarste.

Waar je in het jaar 2000 nog “Developers! Developers! Developers!” kon roepen, wil je die schaarse medewerkers nu inzetten op die plekken waar ze echt verschil kunnen maken.

#2 Lange doorlooptijden

Wanneer je nieuwe wensen vanuit de organisatie wilt inwilligen, wil je niet pas in het volgende kalenderjaar kunnen leveren. Dit is vaak wel de werkelijkheid als je een complex landschap aan tools hebt, of over vele schakels moet opereren. Het resultaat is dan vaak dat de business het zelf oplost, met een nieuwe pijplijn op basis van andere tools als resultaat.

#3 Lappendeken van tools

De meer traditionele inrichting van Data Management is vaak een samenraapsel van allerhande systemen, software, en noodoplossingen die inmiddels permanent zijn geworden: een lappendeken van tooling (“patchwork of tools”). Omdat data platforms vaak organisch groeien en niet altijd volgens een vooropgezet plan worden ingericht wordt het op een gegeven moment moeilijker en moeilijker om nieuwe bronnen en techniek te integreren en managen.

#4 Overzicht en data lineage

Wanneer er problemen gerapporteerd worden, wanneer nieuwe medewerkers bij een team aansluiten, wanneer je inzicht wilt krijgen over de volle breedte van je platform: allemaal momenten waar een lappendeken van tools je tegenwerkt om overzicht te houden. Waar komt de data in dit rapport vandaan? Hoe zit deze berekening in elkaar? Welke gebruikersaccounts hebben toegang tot deze financiële data? Je verwacht dat je daar eenvoudig antwoord op kan geven, maar de werkelijkheid is vaak anders.

#5 Foutgevoeligheid

Ondanks het feit dat iedereen zijn best doet zijn mensen niet in staat om altijd perfect werk te leveren. Een copy-paste fout of ander vergeten detail ligt altijd op de loer. Wanneer je met de hand systemen configureert en code ontwikkelt om je Data Management te regelen, zul je rekening moeten houden met de menselijke natuur.

#6 Documentatie

Iedereen vindt het leuk om nieuwe dingen te ontwikkelen en verbeteringen door te voeren, het vastleggen in documentatie is echter lastiger om mensen voor te motiveren. In de huidige wereld zijn continue veranderingen ook een gegeven, wat betekent dat handmatig documenteren gewoon niet meer bij te houden is.

#7 Updates

De wereld staat niet stil, de tooling die je gebruikt in je Data Management landschap ook niet. Leveranciers gaan steeds vaker over naar kort-cyclische releases wat kan betekenen dat je continu updates moet doorvoeren op je infrastructuur en applicatie-landschap. Dit kan betekenen dat je geforceerd wordt om code of script aan te passen aan nieuwe versies van tooling, of dat je aanpassingen moet doen om de security van je platform te waarborgen. Hoe meer je handmatig ontwikkelt, hoe meer afhankelijkheden je inbouwt die een probleem kunnen worden wanneer je zaken moet updaten.

#8 Toekomstbestendigheid

Het kan lastig zijn om aan het begin van een traject waar je je data fundament gaat opbouwen in te schatten welke resources je nodig hebt. Liefst wil je genoeg om niet gehinderd te worden, maar ook niet zo over-gedimensioneerd dat de kosten een probleem worden. En als je eenmaal een keuze hebt gemaakt, wil je ook nog kunnen veranderen als dat later nodig blijkt. Cloud diensten en virtualisatie zijn oplossingen die zaken schaalbaar maken, maar wat als je van een database over wilt gaan naar een lake? Wellicht betekent dat dat je opnieuw moet beginnen, met een lang traject tot gevolg.

Dé oplossing

Binnen het terrein van Data Management is er gelukkig een oplossing die deze uitdagingen minder uitdagend maakt: TimeXtender. TimeXtender is een centrale orchestrator voor een Data Platform met als doel om zoveel mogelijk van de taken die je moet doen te automatiseren. Omdat TimeXtender zoveel mogelijk via drag-and-drop werkt, ben je veel meer bezig met wát er moet gebeuren in plaats van hoe. TimeXtender automatiseert de infrastructuur die je beschikbaar hebt en kan zo overzien hoe je hele platform in elkaar zit.

Omdat TimeXtender script genereert vanuit je project heb je veel minder last van de normale foutjes die erin sluipen als je met de hand code moet maken. Het veranderen van infrastructuur heeft verder geen verstrekkende gevolgen omdat TimeXtender bijvoorbeeld code genereert die matcht met de versie van SQL Server waar je mee gaat werken.

TimeXtender gebruikt metadata om alle code en infrastructuur te genereren, deze metadata wordt ook gebruikt om up-to-date documentatie te maken en inzicht in de lineage te krijgen. Met de mogelijkheden van TimeXtender kun je je datastromen vanaf je bronsystemen tot en met de back-end van je BI tooling automatiseren en managen. Omdat zoveel mogelijk taken geautomatiseerd worden is de leercurve een stuk vlakker dan van andere tools waardoor mensen met kennis van de businessprocessen ook hun weg kunnen vinden.

Vervolg

Herken je de obstakels en ben je benieuwd hoe TimeXtender die voor je kan wegnemen? Sluit aan bij een live demo en ervaar het zelf! Wil je eerst meer lezen over de ervaringen met TimeXtender? Bekijk dan een van onzede referentiecases hieronder.

Geschreven door Ruairidh Smith,
Senior consultant bij E-mergo