Het aantal databronnen binnen organisaties neemt de afgelopen jaren snel toe. Dat is niet vreemd als je bedenkt hoeveel systemen we dagelijks gebruiken, zowel on-premises als in de cloud. Het risico van al die databronnen is echter dat veel organisaties niet beschikken over één single source of truth. Om altijd en overal over de juiste informatie te kunnen beschikken is data-integratie dus onmisbaar.

Maar hoe pak je dit aan? Waar begin je? En kan data-integratie ook met Open Source Software? Het antwoord op deze vragen vind je in dit artikel.

Hoe begin je met data-integratie?

Net als bij ieder groot project, is een goede voorbereiding het halve werk als je aan de slag wilt met het integreren van je data. Daarom geven we je een handig stappenplan waarmee je direct kunt starten.

Stap 1: Doelstellingen

Het begint allemaal met het stellen van de simpelste vraag van allemaal: waarom? Waarom wil je jouw data integreren? Is dat bijvoorbeeld zodat je beschikt over één single source of truth binnen je organisatie? Omdat je informatie met de buitenwereld wilt delen? Of omdat je vanuit wetgeving jouw data over moet kunnen dragen als daarom gevraagd wordt? Het antwoord op deze vraag bepaalt grotendeels hoe jouw data-integratie eruit komt te zien.

Stap 2: Wensen en eisen in kaart brengen

Zodra duidelijk is waaróm het verstandig is om een data-integratie uit te voeren, is het tijd om te bepalen aan welke eisen en wensen je wilt voldoen. Welke data moet je kunnen ontsluiten en op welke manier? Om alle wensen en eisen helder te krijgen, is het belangrijk om met de belanghebbenden in gesprek te gaan. Wat hebben zij nodig en wanneer? Tegen welke uitdagingen lopen zij op dit moment aan en hoe zien zij de ideale data-integratie?

Stap 3: Databronnen inventariseren

Nu je weet welke data je wilt ontsluiten, is het tijd om te onderzoeken welke databronnen de leverende partij is van die single source of truth. En natuurlijk hoe je deze databronnen kunt ‘aanspreken’ om de gewenste output terug te krijgen. Kun je de gegevens uit deze databronnen ontsluiten met standaardcomponenten of is er maatwerk nodig om dit te kunnen doen?

Stap 4: Planning op hoofdlijnen

Heb je eenmaal helder wat je doelstellingen zijn, wat je wensen zijn en waar je je data kunt vinden? Dan weet je ook wat er nodig is om deze data te integreren in één systeem. Kun je voor alle databronnen standaardcomponenten inzetten, dan ziet je planning op hoofdlijnen er heel anders uit dan wanneer je maatwerk moet (laten) maken om de benodigde data te ontsluiten. Houd daar rekening mee op het moment dat je een planning opstelt voor je data-integratie.

Stap 5: Aan de slag met data-integratie

De volgende stap is om daadwerkelijk aan de slag te gaan met de data-integratie. Het slimst is het om daarvoor de scrum-methode te volgen: met helder gedefinieerde doelstellingen in overzichtelijke sprints, kun je een realistisch tijdspad voor de data-integratie uitstippelen.

Data-integratie met Open Source Software?

Het klinkt zo mooi: met standaardcomponenten data aan standaardsoftware onttrekken. In de praktijk blijkt echter dat de meeste organisaties tóch maatwerk nodig hebben om dit voor elkaar te krijgen. Bijvoorbeeld omdat er om de standaardsoftware heen toch heel veel maatwerk is geprogrammeerd. Moet je maatwerkkoppelingen maken, dan heeft Open Source Software een aantal grote voordelen:

• Je voorkomt vendor lock-in omdat OSS vrij beschikbaar is
• Je kunt met maatwerk eenvoudig afhankelijkheden van andere systemen voorkomen of opheffen
• Je data kan overal waar nodig beschikbaar zijn
• Je data is overdraagbaar aan andere systemen en andere organisaties
• Je kunt je data op maat uitleveren: in ieder gewenst formaat en precies zoveel je nodig hebt

Data-integratie in de praktijk

Een Nederlandse bank liep tegen het probleem aan dat bestanden uit verschillende applicaties niet eenvoudig konden worden verstuurd van de ene afdeling naar de andere. Als gevolg daarvan ontwikkelden verschillende afdelingen hun eigen koppelingen, die nauwelijks te controleren waren.

Hoewel dat natuurlijk al niet ideaal is, was er nog iets dat voor problemen zorgde: als de ontwikkelaar van de koppeling uit dienst ging, stopte ook het onderhoud of beheer daarvan. Om aan deze wildgroei een einde te maken, werd Open Circle Solutions gevraagd te helpen bij de data-integratie. Er moest één applicatie komen voor het kopiëren, delen en verzenden van bestanden binnen de bank. Daarvoor was het nodig om de data uitwisselbaar te maken.

Open Circle Solutions ontwikkelde een applicatie op basis van Open Source. Afdelingen binnen de bank kunnen nu op een standaard manier, eenvoudig en gericht bestanden uitwisselen binnen én buiten de bank. Daarbij houden we uiteraard ook de security-aspecten nauw in de gaten. Op dit moment verwerkt deze applicatie dagelijks meer dan 250.000 bestanden (30Tb per maand) en zijn we met het team van de bank bezig om de applicatie goed schaalbaar te maken.

Dat is ook wel nodig, want de bank heeft besloten dat onze applicatie de nieuwe Enterprise-standaard is. Er mogen geen ‘eigen’ koppelingen meer gemaakt worden voor het kopiëren van bestanden en alle bestaande koppelingen zullen gemigreerd worden naar onze applicatie. De verwachting is, dat het dagelijkse aantal bestandsuitwisselingen daardoor verviervoudigt.