Automatiseer je Microsoft data warehouse met Azure Data Factory en TimeXtender
Lees in dit blog meer over hoe je met TimeXtender en Azure Data Factory je Microsoft data warehouse kunt automatiseren. Ontdek hoe TimeXtender en Data Factory samenwerken, wat de misvattingen zijn over Data Factory, en kom erachter in welke situaties je hier het beste gebruik van kunt maken. Tot slot leggen we je uit hoe volgens ons het ideale data platform eruit ziet.
Wat is Azure Data Factory?
Azure Data Factory is een schaalbare manier om ‘data pipelines’ in Azure te bouwen die gebruikt kunnen worden om data te transporteren van on-premise naar Azure, of binnen Azure tussen verschillende databases of andere infrastructurele componenten. Omdat Azure Data Factory een serverless dienst is, is het in staat om naar behoefte resources aan te zetten om je data pipelines te runnen. Uiteindelijk betekent dit dat je alleen betaalt naar gebruik, in plaats van voor het beschikken over een server.
Wat is TimeXtender?
TimeXtender is een low-code data management platform waarmee je tot 70% sneller kunt ontwikkelen en tot 80% op beheer kunt besparen omdat het geautomatiseerd (ETL) script en documentatie genereert. Hiermee ontwikkel en onderhoud je een future proof data warehouse (bijvoorbeeld in Azure) waar elke ontwikkelaar eenvoudig mee overweg kan.
Hoe automatiseer ik mijn Microsoft Data warehouse met TimeXtender?
TimeXtender orkestreert je hele Data Platform, dit maakt het ook mogelijk om de infrastructuur van je Platform mee te laten groeien. Je kan beginnen met een klein aantal bronnen en beperkte data gebaseerd op een Virtual Machine voor TimeXtender met een Azure SQL DB voor je Data Warehouse. Dit kun je later uitbreiden door bijvoorbeeld door te groeien naar een Hyperscale database met Azure Data Lake en Azure Data Factory. Uiteindelijk regelt TimeXtender het inrichten van alle transporten en code in Azure of on-premise, dit betekent dat je bijvoorbeeld ook op de normale manier je Azure Data Factory pipelines kan monitoren. Het mooie is dat je TimeXtender vertelt wat er moet gebeuren en vervolgens bepaalt TimeXtender hoe dat het beste kan.
Misvattingen over Data Factory
“Ik heb Data Factory dus ik heb geen TimeXtender nodig…”
Uiteraard kun je je Data Platform ook zonder TimeXtender implementeren, dan moet je natuurlijk wel alle infrastructuur zelf configureren en alle benodigde code schrijven. Hoewel Azure Data Factory namelijk middels een visuele interface te gebruiken is, zal je snel merken dat het opzetten en beheren van pipelines snel onoverzichtelijk wordt. Over het algemeen betekent dit vaak dat je ingehaald wordt door de technische mogelijkheden en eisen van de business. Dit betekent ook dat een wijziging van infrastructuur een substantiële aanpassing van code kan vergen waardoor het minder aantrekkelijk wordt om te veranderen. Meestal grijp je dan naar andere tools om Azure Data Factory te automatiseren, en voor je het weet heb je een veelvoud aan tools en afhankelijkheden in je project ingebouwd. Daarbovenop kan het veel gedetailleerde kennis vergen om dit met de hand te kunnen opzetten en om dit te blijven beheren.
Wanneer gebruik je Data Factory met Azure en TimeXtender?
Wanneer wij TimeXtender implementeren bij klanten die Azure (willen) gebruiken, zijn er een aantal scenario’s waar Azure Data Factory een natuurlijke fit is:
- Veel bronsystemen: het is vaak efficiënter om Azure Data Factory te gebruiken dan je virtual machines en databases op te schalen om vele parallelle laadstromen mogelijk te maken.
- Veel data: naarmate je datahoeveelheid toeneemt, bereik je een punt waar Azure Data Lake een betere plek is om je data te laten landen. Dan is Azure Data Factory de meest efficiënte manier om data van bron naar Lake te brengen.
- Data in een Azure Data Lake: wanneer je data in een Lake laat landen, wil je ook data overbrengen naar databases voor transformatie en presentatie. Dit transport is het meest efficiënt via Azure Data Factory.
Uiteraard zijn er daarmee ook scenario’s waar Azure Data Factory niet of minder noodzakelijk is. Een deployment waar Azure Synapse Analytics de kern van je Data Platform vormt bijvoorbeeld. Synapse kan via PolyBase data efficiënter uit een Azure Data Lake naar Synapse brengen, dus dan is Azure Data Factory alleen noodzakelijk voor het transport van bron naar Lake.
Ideale data platform
Door gebruik te maken van TimeXtender om een Data Platform in Azure te automatiseren beschik je over een flexibele infrastructuur die mee kan groeien met de behoefte van de business. Experimenten met Advanced Analytics en Machine Learning kunnen worden ondersteund en de daarbij behorende infrastructuur kan weer worden uitgezet als zo’n project voorbij is. Door vervolgens Power BI in te zetten als BI front-end beschik je over een platform dat voor vele gebruikers herkenbaar is en volledig met elkaar geïntegreerd is. Dit is volgens ons de ideale combinatie voor een succesvol data platform. Meer lezen over deze combinatie? Bekijk dit blog over de gouden driehoek van e-mergo.
Wil je meer weten over TimeXtender? Bekijk het platform in actie tijdens een van onze maandelijkse live demo’s via Microsoft Teams of bekijk een van onze andere resources.
Geschreven door Ruairidh Smith,
Senior consultant bij E-mergo
