Ontdek meer
Van onze Data & AI experts
Data mesh is de oplossing voor schaalbaarheid van dataplatforms.
Data mesh, een hot topic in de wereld van dataplatforms en Azure.
Data mesh is hot. Begrijpelijk, aangezien data mesh dé oplossing biedt voor een langdurig probleem: de schaalbaarheid van dataplatforms. Kan data mesh ook binnen jouw organisatie doorbreken? In deze blog leg ik uit wat de belangrijkste voordelen en uitdagingen zijn van een data mesh-architectuur.
De term data mesh werd geïntroduceerd door ThoughtWorks-consultant Zhamak Dehghani. Het is een architectuur waarin gedistribueerde dataproducten worden ontwikkeld en beheerd door data-engineers en data-producteigenaren in domeinteams. Een gedeelde infrastructuur wordt gebruikt om data te hosten, voor te bereiden en aan te bieden. Nu centrale datateams massaal erkennen dat ze tegen grenzen aanlopen, is data mesh een belangrijke trend geworden in de wereld van dataplatforms. Hoe is deze situatie ontstaan?
Schaalbaarheidsprobleem nog niet opgelost
Het hebben van een datawarehouse en parallelle verwerking lost het schaalbaarheidsprobleem voor kennis en personeel nog steeds niet op. Een groter dataplatform vereist nog steeds een groter centraal team met centraal verzamelde data-engineeringkennis: schaling omhoog. Daarom worden er vaak verticale splitsingen gemaakt in IT-omgevingen, waarbij data-engineers en data-analisten in verschillende teams werken. Het nadeel van deze splitsing is dat voor elk data product verschillende teams nodig zijn.
Het grote voordeel van data mesh is dat het een volwaardige oplossing voor schaalvergroting biedt.
Het splitsen van het centrale datateam en de kennis daaromheen in domeinteams, elk met hun eigen expertise. Dit stelt domeinteams in staat om optimaal zakelijk waarde te leveren binnen hun eigen vakgebied. Met de juiste standaarden, tools en kennis kunnen domeinteams zelf dataproducten leveren en deze centraal aanbieden.
• Het domeinteam beheert de datakwaliteit en kan deze goed monitoren en verbeteren;
• Het domeinteam kent de juiste definities en kan deze goed toepassen en delen;
• Het domeinteam kent de datagebruikers, kan hen goed bedienen en biedt gemoedsrust.
Data mesh brengt echter ook uitdagingen met zich mee
Essentiële vragen die elke organisatie beantwoord moet hebben voordat ze data mesh implementeren zijn: Hoe (de)centraal is mijn organisatie ingericht? Wat is de grootte van mijn organisatie?
De implementatie van data mesh is alleen zinvol als de voordelen van decentralisatie opwegen tegen de investering in het opzetten van het platform en de standaarden. Daarom is data mesh een geschikte oplossing voor (met name) organisaties met meerdere divisies en/of een internationaal karakter.
Nieuwe rol van IT teams
Daarnaast vereist data mesh een nieuwe rol voor IT-teams, zowel in ondersteuning als in controle. De IT-teams moeten de domeinteams ondersteunen met het platform en de juiste tools. Daarnaast moeten zij de domeinteams controleren door toezicht te houden op de toepassing van uniforme standaarden.
Support
Met meerdere domeinteams die elk hun eigen data producten leveren, is goede ondersteuning nodig op de volgende gebieden: standaarden voor de toegankelijke beschrijving van data producten, ondersteuning voor moderne tooling en begrijpelijke standaarden voor datatransformatie.
Controle
Je hebt jezelf waarschijnlijk al de vraag gesteld: hoe kan ik de controle behouden in een omgeving met meerdere onafhankelijke teams? Het antwoord: standaardisatie en beleid. Het vaststellen van standaarden zorgt ervoor dat er geen wildgroei van code en beschrijvingen ontstaat. Bij het beheren van domeinteams zijn duidelijke beleidsregels noodzakelijk: het moet niet mogelijk zijn om code of documentatie uit te brengen die niet voldoet aan de standaarden met betrekking tot naamgeving, structuur en tagging.
Data mesh in de Azure-cloud
Data mesh is geen cloudservice die je zomaar in- of uitschakelt. Het is een combinatie van de juiste aanpak met de juiste tools. Bij het optimaal toepassen van een data mesh-architectuur in de Azure-cloud, leveren de volgende diensten de maximale waarde:
- Azure Purview: een centraal punt voor datagovernance, ter ondersteuning van beschrijvingen van data producten en hun herkomst (lineage).
- Azure Synapse: een schaalbaar cloud dataplatform met een gebruiksvriendelijke interface voor uniforme dataverwerking.
- Azure Data Lake: een schaalbare en kosteneffectieve opslagoptie.
- Azure Machine Learning: ondersteunt machine learning en beveiligt de processen eromheen.
- Azure Policies: beschikbaar voor de bovengenoemde diensten en handhaven een gestandaardiseerde werkwijze.
Data mesh in jouw organisatie?
Wil je meer weten over de belangrijkste voordelen en uitdagingen van data mesh binnen jouw organisatie, of direct aan de slag? Neem contact op met de Data & AI-experts van HSO, jouw betrouwbare partner in digitale transformatie!