Wat is Qlik Answers?

Misschien wel de allergrootste aankondiging van Qlik Connect 2024 was die van een nieuw product: Qlik Answers. Destijds werd beloofd dat Qlik Answers in Juli dit jaar zou lanceren. En dat is precies gelukt, vanaf 31 juli is Qlik Answers namelijk beschikbaar voor het grote publiek. In dit blog leggen we je uit wat Qlik Answers is, wat je ermee kan en wat (nog) niet.

Retrieval Augumented Generation

Qlik Answers is een toepassing van de techniek die men Retrieval Augmented Generation (RAG) noemt. Je vraagt je misschien direct af: wat is Retrieval Augmented Generation? Om dit beter uit te leggen, moeten we beginnen bij generatieve AI-technieken zoals bijvoorbeeld ChatGPT:

Ondertussen heb je vast wel eens gebruik gemaakt van ChatGPT. Het werkt als volgt: je stelt een vraag in gewone taal en krijgt in gewone taal een antwoord terug. Er zijn echter wel twee belangrijke kanttekeningen bij de antwoorden die je van ChatGPT terugkrijgt:

• Hallucinaties: Als eerste is er de kans op zogeheten “hallucinaties”. Het antwoord wat je krijgt klinkt overtuigend, maar is deels of volledig
  verzonnen.
• Niet up-to-date: De andere grote beperking van ChatGPT is dat deze beperkt is tot een bepaald moment in de tijd. Om het model te trainen voeren de ontwikkelaars van OpenAI het model met alle openbaar te vinden informatie op het internet. Het probleem van het internet is echter dat er elke dag miljoenen nieuwe pagina’s en artikelen bijkomen. Om ervoor te zorgen dat het trainen van het model niet oneindig lang voortduurt hebben de ontwikkelaars dus een grens ingesteld. Het huidige meest recente model, GPT-4 is bijvoorbeeld getrained met data tot April 2023. Vraag je ChatGPT bijvoorbeeld naar de beurskoersen van Apple van deze maand, dan zal je te horen krijgen dat hij daar geen antwoord op heeft.

Met Retrieval Augmented Generation wordt het taalmodel uitgebreid met zoekfuncties. Wanneer je een vraag stelt zal het taalmodel niet zelf een antwoord verzinnen, maar wordt er een functie aangeroepen die op zoek gaat naar het juiste antwoord in een vooraf gedefinieerde bron. Zodra het antwoord is gevonden wordt het taalmodel gebruikt om dit antwoord weer in gewone taal terug te geven aan de gebruiker. Deze aanpak lost de bovenstaande problemen op: de functie die wordt aangeroepen is in staat om naar nieuwe informatie te kijken die misschien zelfs nog niet bestond toen het taalmodel werd gegenereerd. Daarnaast kan RAG bij het antwoord een verwijzing opnemen naar de bronnen die door de aangeroepen functie zijn geraadpleegd, waardoor je zelf altijd de juistheid van het antwoord kunt verifiëren.

Hoe werkt het?

Om te beginnen met Qlik Answers zal je eerst moeten definiëren welke bronnen er gebruikt kunnen worden om een antwoord te geven op vragen van gebruikers. Dit is in Qlik Answers heel eenvoudig gemaakt, je kunt documenten met de hand uploaden of je maakt connectie met een opslag zoals bijvoorbeeld OneDrive, Amazon S3 of Google drive waar deze documenten staan.

In de knowledge base upload je de bestanden waar jouw assistent zijn antwoorden op baseert

De set aan documenten die je uploadt worden onderdeel van een zogeheten “knowledge base”. Zodra de documenten zijn geupload klik je op de knop “index all sources”. Deze knop zorgt er in feite voor dat Qlik Answers de documenten gaat doorlezen en zo goed mogelijk proberen te begrijpen, zodat het daarna de inhoud kan gebruiken om vragen te beantwoorden.

Zodra je een of meerdere knowledge bases hebt aangemaakt kun je een zogeheten assistent aanmaken. Deze assistent is in feite de chatbot waar je tegenaan kunt gaan praten. Aan een assistant koppel je vervolgens een of meerdere knowledge bases. Het grote voordeel van deze aanpak is dat je grote controle hebt over welke informatie wel en niet gebruikt mag worden voor het genereren van antwoorden voor verschillende gebruikersgroepen.

Een assistent koppel je aan 1 of meer knowledge bases, waarna je kunt beginnen met vragen stellen

Zodra je de assistant hebt aangemaakt ben je klaar en kunnen jouw gebruikers aan de slag met vragen stellen. Wanneer een antwoord gegenereerd is, zie je in de spraakbubbel van het antwoord een viertal knoppen. Allereerst zijn er de duim omhoog en duim omlaag knoppen. Deze kunnen jouw gebruikers indrukken wanneer ze tevreden zijn met het antwoord of juist niet het antwoord gekregen hebben waar ze naar op zoek zijn. Deze feedback kan je als ontwikkelaar later terugvinden, zodat je kunt zien waar de gaten in jouw knowledge base zich bevinden. Daarnaast is er een knop waarmee je de tekst van het antwoord eenvoudig kan kopiëren. De laatste knop heeft de vorm “View x sources”. Als deze knop wordt ingedrukt opent zich een tweede paneel, waar de stukken tekst worden getoond waarop het antwoord is gebaseerd. In dit venster is ook gelijk een downloadknop opgenomen, wat de gebruiker in staat stelt het originele document te downloaden.

Toepassingen en beperkingen

Met Qlik Answers heeft Qlik nu ook een product in het portfolio om waarde te halen uit ongestructureerde data. Voor veel Qlik gebruikers is dit vanzelfsprekend nog een relatief onbekend terrein. Een logische vraag is dan ook: hoe kan ik dit in mijn organisatie toepassen? De mogelijkheden lijken eindeloos, maar om je vast op weg te helpen hebben we hier een aantal ideeën voor je op een rij gezet.

• Maak het inwerken van collega’s een stuk eenvoudiger door Qlik answers als een assistent in te zetten. Je kunt hier alle handleidingen en werkinstructies voor een afdeling toevoegen als bronnen.
• Bundel alle productspecificaties, vaak gestelde vragen en antwoorden en supportvragen uit het verleden om je supportmedewerkers in staat te stellen nog sneller een antwoord te vinden
• Combineer geldende wet- en regelgeving met de interne beleidsdocumenten en procedures zodat jouw medewerkers eenvoudig antwoord kunnen geven op juridische vraagstukken

Er zijn vast nog veel meer toepassingen denkbaar. Hoe langer een organisatie bestaat, hoe meer documenten er aanwezig zijn. Met de eerste release van Qlik Answers komen er dus gelijk een hoop nieuwe mogelijkheden bij. Er zijn echter wel een aantal beperkingen waar je rekening mee moet houden:

• Qlik Answers kan nog geen plaatjes lezen en kan het enkel met tekstbestanden werken. Een scan van een handgeschreven document kan dus bijvoorbeeld nog niet goed worden verwerkt.
• Daarnaast is het belangrijk om te beseffen dat tabellen wel kunnen worden ingelezen, maar nog niet gebruikt kunnen worden om antwoord te geven. Dus als je bijvoorbeeld in jouw document een tabel hebt staan met per afdeling de omzet van het afgelopen kwartaal kan je deze helaas nog niet uitvragen op basis van dat document.
• Het is op dit moment nog niet mogelijk om de ongestructureerde data te combineren met de gestructureerde data, bijvoorbeeld die in Qlik dashboards. Het ligt in de lijn der verwachting dat er door Qlik achter de schermen hard wordt gewerkt om dit wel mogelijk te maken. Zeker omdat Qlik Talend Cloud op dit moment al de mogelijkheid biedt om zogeheten “AI-ready” dataproducten te genereren.
• Tot slot is het goed om te beseffen dat je nu een nieuw type databron aanboort met Qlik Answers. Waar we voor gestructureerde data vaak al best wel wat maatregelen hebben opgezet op het gebied van datakwaliteit en data governance, is dat voor ongestructureerde data vaak nog niet het geval. Om echt een succes te maken van Qlik Answers zal je dus moeten gaan nadenken over maatregelen op dit vlak.

Kort samengevat, met Qlik Answers zorg je ervoor dat waardevolle informatie in die documenten een stuk beter beschikbaar worden voor al jouw medewerkers. Dit kan enorm waardevol zijn in de ontwikkeling naar datagedreven werken. Heb jij een goede use-case voor Qlik Answers of wil Qlik Answers verder ontdekken ? Laat het ons weten, we denken graag met je mee!

Geschreven door Lennaert van den Brink
Senior Consultant