Migreren naar Qlik Cloud
Iedereen die de ontwikkelingen bij Qlik een beetje gevolgd heeft de afgelopen tijd weet dat er vol wordt ingezet op Qlik Cloud. Daarmee wordt het ook steeds interessanter om te overwegen jouw on-premise Qlik omgeving over te zetten naar Qlik Cloud. Zo’n verhuizing naar de cloud betekent echter wel dat je ook moet zorgen dat alle data uit jouw verschillende systemen ook naar de Qlik Cloud zult moeten brengen. Daar zijn verschillende manieren voor. In dit blog leggen we je uit welke manieren er zijn en wat de voor- en nadelen zijn van deze methoden, zodat ook jij een plan van aanpak kan maken voor het migreren van jouw Qlik omgeving.
Met de hand
De eerste methode is ook gelijk de eenvoudigste. Je kunt in Qlik Cloud met de hand allerlei data bestanden uploaden in de Cloud omgeving. Deze methode is vooral geschikt voor ad-hoc analyses of voor datasets die niet heel veel veranderen. Denk bijvoorbeeld aan een Excel bestand met jaarbudgetten. Als de data in je bestand wijzigt kun je simpelweg het bestand opnieuw uploaden om het bestaande bestand te vervangen.
Er gelden wel wat beperkingen voor het uploaden van bestanden. Niet alle bestandsformaten worden bijvoorbeeld ondersteund, al zijn de meest gangbare bestandsformaten wel beschikbaar (zie hieronder in het plaatje de formaten die momenteel worden ondersteund). Ook is er een limiet aan de grootte van het bestand. Een bestand mag maximaal 100GB groot zijn. Dat is heel wat, maar bestanden van 6GB of groter zullen een impact hebben op de performance van jouw Cloud omgeving tijdens het uploaden omdat de Qlik Engine deels hiervoor zal worden ingezet.
Snel en eenvoudig
Geschikt voor self-service gebruikers
Data ververst niet tenzij je zelf opnieuw uploadt
Grote bestanden hebben impact op performance en duren lang om te uploaden
Handmatig werk, dus afhankelijkheid van personen
Rechtstreeks verbinden vanuit de Cloud
Net zoals je gewend bent met je on-premise, kun je op Qlik Cloud rechtstreeks connecties aanmaken op een grote hoeveelheid verschillende bronnen. Er zijn standaard meer dan 70 verschillende connectoren beschikbaar naar allerlei bronsystemen, zoals databases (SQL, mySQL, Oracle, PostgreSQL, e.t.c.) maar ook platformen zoals bijvoorbeeld SAP, Salesforce, Office 365 en applicaties als Twitter, Facebook, ServiceNow of MailChimp. Ook zijn generieke connecties via REST API of OData op deze manier mogelijk, waardoor met bijna elke moderne SaaS applicatie verbonden kan worden.
Eenmaal zo’n connectie aangemaakt kun je naar hartenlust data uit deze systemen inladen en verwerken. Het belangrijkste nadeel van deze methode is dat je bronsysteem wel van buiten af toegankelijk moet zijn. Voor de meeste Cloud-based en SaaS applicaties is dat geen probleem, maar bijvoorbeeld een database systeem wat je on-premise hebt staan wil je vaak het liefst zo veel mogelijk van de buitenwereld afsluiten uit cyber security overwegingen. Uiteraard kan je een firewall heel specifiek configureren om enkel het verkeer vanaf de Qlik Cloud adressen toe te staan (zie deze pagina voor de actuele IP adressen van het Qlik Cloud platform), maar het betekent wel nog steeds dat je een potentiële aanvalsroute creëert voor hackers.
Zoals je gewend bent van Qlik Sense on Windows
Veel standaard connectoren beschikbaar
Eenvoudig aan te maken vanuit de Qlik Cloud interface
Minder geschikt voor on-premise databases die niet extern beschikbaar zijn
Qlik Data Transfer
Qlik Data Transfer is een applicatie die je op een server in jouw eigen netwerk installeert. Daarmee bevindt deze applicatie zich dus achter de Firewall van jouw netwerk en kan het dus meestal zonder problemen bij verschillende databronnen. Met Qlik Data Transfer kun je databestanden of gegevens uit databases geautomatiseerd pushen naar jouw Qlik Cloud omgeving. Dat kan op een aantal verschillende manieren. De eerste optie is om Qlik Data Transfer een (netwerk)map in de gaten te laten houden. Alle bestanden die in deze map worden toegevoegd of gewijzigd worden direct ge-upload naar een door jou gekozen workspace in de Qlik Cloud omgeving. De tweede optie is om een verbinding te maken met een database systeem via ODBC. Vervolgens kun je in Qlik Data Transfer een query definiëren die periodiek wordt uitgevoerd, waarna het resultaat in QVD vorm wordt opgeslagen en vervolgens ge-upload naar de Qlik Cloud omgeving. De laatste optie is om een QlikView of Qlik Sense bestand (.qvw of .qvf) aan te wijzen. Qlik Data Transfer zal dan periodiek het laadscript van dit bestand uitvoeren en vervolgens alle tabellen in het datamodel als QVD opslaan en uploaden naar de Qlik Cloud.
Qlik Data Transfer kent echter wel een aantal belangrijke nadelen en beperkingen. Zo is de applicatie wat lastiger om te configureren en moet de configuratie ook gedaan worden op een on-premise server. Dit kan dus zeker niet door self-service gebruikers worden uitgevoerd. Daarnaast kun je met Qlik Data Transfer maximaal 200 tabellen of bestanden per bron uploaden en mogen de resulterende bestanden niet groter zijn dan 6GB. Voor grotere databases is Qlik Data Transfer dan ook geen optie.
On-premise installatie, dus binnen het interne netwerk en enkel uitgaand netwerk verkeer
Geautomatiseerd bestanden uploaden
Niet geschikt voor self-service gebruikers
Niet geschikt voor grotere bestanden en databases
On-premise installatie betekent ook kosten voor de infrastructuur
Hybride Qlik omgeving
In een hybride Qlik omgeving heb je zowel Qlik Sense on Windows als Qlik Cloud in gebruik. De on-premise Qlik omgeving bevindt zich in dit geval op jouw eigen infrastructuur binnen jouw eigen netwerk en voert alle reloads uit. Zodra de reload klaar is wordt het resulterende dashboard automatisch ge-upload naar de Qlik Cloud omgeving. De eindgebruikers consumeren vervolgens het dashboard via de Qlik Cloud omgeving.
Deze constructie wordt vooral veel ingezet tijdens het migratie traject van de on-premise omgeving naar de Qlik Cloud. Het voordeel is namelijk dat je de eindgebruikers direct alle voordelen kunt bieden van de nieuwe functionaliteiten en gebruikerservaring van Qlik Cloud terwijl je achter de schermen alle tijd hebt om de data migraties uit te voeren.
Het grootste nadeel van deze methode is dat je wel nog steeds een groot deel van je Qlik infrastructuur on-premise hebt staan. Dat betekent dus onder andere een dubbele Qlik licentie en kosten voor alle hardware en het beheer daarvan. Een voordeel is dan wel weer dat je de beschikking houdt over een on-premise Qlik omgeving, zodat je bijvoorbeeld nog steeds wel de beschikking hebt over NPrinting en andere functionaliteiten die (nog) niet volledig beschikbaar zijn in Qlik Cloud
Het beste van 2 werelden, on-premise én Cloud
Zeer snel in te regelen vanuit bestaande Qlik Sense on Windows omgeving
Extra kosten voor infrastructuur en dubbele licenties
Datawarehouse in de Cloud
Bij de optie “rechtstreeks verbinden” vertelde we je al dat verbinden met databases die in de Cloud gevestigd zijn een goede optie is. Een mogelijke oplossing om je data in Qlik Cloud te krijgen is dan ook om jouw on-premise databronnen eerst te onstluiten naar een Cloud-based datawarehouse. Dit wordt dan de centrale plek waar alle data uit jouw systemen samenstroomt en wordt verwerkt, waarna Qlik, maar ook andere eindsystemen gebruik kunnen maken van deze ene versie van de waarheid.
Er zijn allerlei verschillende alternatieven om een dergelijk datawarehouse op te zetten. Je hebt in ieder geval een aanbieder nodig van een Cloud-based data platform, zoals bijvoorbeeld Azure, AWS, Snowflake, Databricks of Google BigQuery. Bij het opzetten van een dergelijk datawarehouse is het aan te bevelen om ook gebruik te maken van een Datawarehouse Automation tool. Bij E-mergo werken we veel met TimeXtender in combinatie met Azure, maar sinds kort is er ook de optie om dit geheel via Qlik te doen met behulp van Qlik Data Intergration. Als de data eenmaal in een Cloud-based datawarehouse beschikbaar is, is het een kwestie van een directe connectie aanmaken en je kunt met Qlik Cloud aan de slag.
Een centrale plek om je data samen te brengen
Geschikt voor nagenoeg alle typen bronsysteem
Extra investering om op te zetten
Qlik Data Gateway
Qlik Data Gateway is de meest recente toevoeging aan het lijstje van opties om je data naar de Qlik Cloud te brengen. Met Qlik Data Gateway installeer je een stukje software in de buurt van jouw database (bijvoorbeeld op de zelfde server). De software zorgt er vervolgens voor dat er een beveiligde verbinding gemaakt wordt met de Qlik Cloud omgeving. Op deze manier kun je direct vanuit de Qlik Cloud verbinden met deze database, maar hoef je geen uitgaand verkeer toe te staan.
De Qlik Data Gateway is helaas wel maar voor een aantal bronnen beschikbaar (zie deze link voor de actuele lijst), maar is voor deze bronnen vaak wel de beste oplossing. Het configureren van de Gateway zelf zal over het algemeen door een beheerder moeten worden uitgevoerd, maar als de Gateway eenmaal is opgezet kunnen self-service gebruikers zonder problemen zelf connecties aanmaken zoals ze dat in de optie “rechtstreeks verbinden” ook kunnen.
On-premise installatie, dus binnen het interne netwerk en enkel uitgaand netwerk verkeer
Geautomatiseerd bestanden uploaden
Na configuratie van de gateway geschikt voor self-service gebruikers
On-premise installatie betekent extra belasting van de infrastructuur
Conclusie
In dit blog hebben we je laten zien dat er heel veel verschillende manieren zijn om jouw data naar de Qlik Cloud te brengen. Elke optie heeft zijn voor- en nadelen, dus het is belangrijk om goed te kijken naar de eisen en wensen van jouw specifieke situatie om tot een juiste keuze te komen. In de praktijk zul je zien dat in één Qlik Cloud omgeving meerdere manieren gebruikt zullen worden om data te uploaden. Wil jij nu ook je data naar de Qlik Cloud brengen, maar vindt je het toch lastig om de juiste optie te kiezen, dan denken we bij E-mergo natuurlijk graag met je mee!
Geschreven door Lennaert van den Brink
Senior Consultant
