Implementeer je TimeXtender-platform volledig op Microsoft Fabric
Met de meest recente release van TimeXtender is het nu mogelijk om je TimeXtender implementatie volledig te baseren op Microsoft Fabric. Dit betekent Fabric Lakehouse voor zowel Ingest- als Prepare-instances en XMLA endpoints voor Power BI modellen. Hiermee landt de hele datapijplijn in Microsoft Fabric.
Hoewel in Prepare instances nog niet alle transformatiefuncties beschikbaar zijn, zijn de meest gebruikte functies dat wel. Voor details over Fabric-ondersteuning per laag van TimeXtender zie:
Met deze release hebben we een Fabric Capacity op kunnen zetten om te ervaren hoe het is om oplossingen volledig op Fabric te bouwen. Het opzetten van Fabric is eenvoudig, hierbij heb je niet veel keuzes te maken:
- Waar wil je dat je infrastructuur wordt ondergebracht?
- Hoeveel Capacity wil je je Fabric workspace geven? (zeg maar hoeveel PK je tot je beschikking hebt)
Verder heb je wat technische stappen te zetten om Fabric vanuit TimeXtender te automatiseren en dan ben je er. Microsoft Fabric heeft een uniform schaal-/kostenmodel dat afhankelijk is van “Capacity”: een abstractie van rekenkracht die voor elke Fabric-functie kan worden gebruikt. Fabric-opslag is ook geabstraheerd in OneLake. Dit betekent dat er minder is om over na te denken (maar ook minder opties voor finetuning) bij het implementeren. De kleinste beschikbare Fabric Capacity geeft je al toegang tot alles wat je nodig hebt om een TimeXtender-implementatie te bouwen.
TimeXtender bouwt zijn oplossingen op uit drie verschillende soorten lagen: Ingest (gegevens uit de bron extraheren en in een uniform formaat opslaan), Prepare (gegevens transformeren naar hun definitieve vorm), Deliver (gegevens naar consumerende BI-tools brengen). Ik zal je de huidige status geven van elk type Instance met betrekking tot hoe ze werken in Microsoft Fabric:
Visuele weergave van de 3 lagen in TimeXtender
Ingest
Voor het grootste deel werkt de Ingest-instance op dezelfde manier als je gewend bent in TimeXtender, er zijn momenteel slechts enkele beperkingen. Een volledig overzicht hiervan kun je hier vinden.
Als je Fabric Lakehouse Prepare wilt uitproberen, moet je voorlopig ook je Ingest tegen Lakehouse laten draaien. Omdat TimeXtender een deel van de kostbare rekenkracht overlaat aan de Virtuele Machine die de Ingest-service uitvoert, is het Capacity-verbruik lager dan dat je zou verwachten voor Ingest. Op dit moment is totale performance lager in vergelijking met wat je kunt bereiken met handmatige afstemming in een SQL IaaS / ADLS Gen2-infrastructuur; dit is een afweging tegen vereenvoudigd beheer, Fabric en OneLake maken dit tenslotte een stuk eenvoudiger.
Prepare
Voor Prepare-instanties is de situatie wat dynamischer: de meeste implementaties zullen momenteel niet volledig “op de TimeXtender-manier” kunnen werken, omdat ze afhankelijk zijn van functionaliteit die nog niet beschikbaar is voor Fabric Lakehouse.
Aan de andere kant kun je je code aanpassen door Spark Notebooks aan je tabellen te koppelen. Dit maakt je oplossing minder portable en meer code-intensief. Een van de mooie dingen is dat als je gewoon gegevens verplaatst, Shortcuts naar de gegevens in Ingest worden gebruikt zonder kopieën van de data te hoeven maken. De performance is momenteel niet zo goed als andere infrastructuuropties, maar dit komt grotendeels door de opstarttijden van clusters. TimeXtender werkt aan verbeteringen op dit aspect, dus verwacht dat dit binnenkort zal verbeteren.
Deliver
Werken tegen Power BI XMLA-eindpunten heeft natuurlijk altijd gewerkt in TimeXtender Data Integration en de overgang van Premium Capacity naar Fabric Capacity verandert dat niet. Het kunnen leveren van hetzelfde datamodel aan Qlik en Tableau naast Power BI geeft je maximale flexibiliteit.
Op dit moment is het nuttig om te experimenteren en te zien wat het gebruik van Fabric in een Data Platform kan brengen. In die context is het evalueren van de state-of-the-art met TimeXtender Data Integration een goed idee; één van mijn favoriete TimeXtender-functies is dat je de infrastructuur onderweg kunt wijzigen om functie- en technische evaluaties uit te voeren zonder veel werk.
Als de optie om Service Principal-authenticatie te gebruiken op Run On Demand Item Jobs beschikbaar komt vanuit Microsoft, zal dit een beveiligingsnadeel wegnemen dat momenteel bestaat. Lees hier de Microsoft-documentatie over dit onderwerp.
Nieuwe ontwikkelingen
Zowel Microsoft Fabric als TimeXtender ontwikkelen zich snel en daarmee kan het moeilijk zijn om alles bij te houden. Voor TimeXtender is het jaarlijkse Xtend-evenement een geweldige manier om op de hoogte te blijven van ontwikkelingen en om partners te ontmoeten. Voor Microsoft Fabric zullen we eind maart aanwezig zijn op de Microsoft Fabric Community Conference in Las Vegas, dus hopelijk horen we daar meer spannend nieuws. TimeXtender zal ook aanwezig zijn op Fabcon, dus loop langs als je er bent!
Op de hoogte blijven?
Benieuwd naar de rest van deze reeks blogs? Schrijf je dan in voor onze nieuwsbrief, zo ben jij maandelijks up-to-date van al onze nieuwe blogs. Je kunt je inschrijven via de button hieronder.
Geschreven door Ruairidh Smith,
Senior consultant bij E-mergo
