DATA MESH OG DATA VIRTUALISERING: ET PERFEKT PAR

Lesetid 3 minutter

Data mesh og data virtualisering har komplementære egenskaper. En data mesh arkitektur fokuserer primært på organisasjon og administrasjon av data, med vekt på desentralisert eierskap og ansvar på domenenivå. Data virtualisering er teknologi som gir sømløs tilgang til alle relevante data fra ulike kilder uten å fysisk flytte eller kopiere data.

Her er 6 grunner til hvorfor data virtualisering bør være en byggekloss i ett data mesh prosjekt:
 

1. Integrasjon av heterogene datakilder: Data mesh oppmuntrer til desentralisering av data. Dette fører til at data lagres i ulike formater og lagringssystemer på tvers av domener. Data virtualisering gir enhetlig tilgang til alle relevante kilder i dette sammensatte datalandskapet. Dette gjør det enklere for sluttbrukere å jobbe med data, uten å måtte forstå de underliggende datastrukturene.
 

2. Spørringsoptimalisering: Data virtualisering har mekanismer for å optimalisere spørringer på tvers av distribuerte kilder. Når man håndterer data fra forskjellige domener i en data mesh- arkitektur, blir effektive verktøy for å hente og kombinere data fra ulike kilder nødvendig
 

3. Datastyring og sikkerhet: Plattformer for data virtualisering gir sentraliserte kontroll- og sikkerhetsfunksjoner, noe som er viktig for å sikre at dataaksess overholder samsvar- og sikkerhetskrav. Særlig et dette viktig i miljøer der sensitive eller regulerte data er involvert.
 

4. Redusert dataflyt: Data mesh fremmer ideen om data som et produkt, lagret og administrert innenfor individuelle domener. Data virtualisering reduserer behovet for å kopiere data, noe som minimerer ressursbruk og utfordringer knyttet til datakonsistens og sikkerhet.
 

5. Sanntids tilgang til data: Data virtualisering tilbyr sanntids- eller nær sanntids- tilgang til data. Dette er spesielt viktig når man arbeider med data som er distribuerte og tidskritiske. Data virtualisering kan inkludere data fra egen organisasjon, partnere og 3dje part. Kildene kan ligge lokalt eller hos en eller flere skyleverandører.
 

6. Skalerbarhet: Data virtualisering er utviklet for å håndtere store datavolumer og kan skaleres i takt med behovet for nye datakilder og økende etterspørsel til rapportering, analyse, maskinlæring og kunstig intelligens. Dette gjør teknologien perfekt for data mesh-miljøer der krav og behov er i stadig utvikling.
 

Data virtualisering gir data mesh tankegangen en teknologisk plattform – det vil si en data mesh infrastruktur – for å bygge tjenester på en sikker og kostnadseffektiv måte.
 

Data virtualisering har self-service funksjonalitet og er teknologi agnostisk, noe som gir sluttbrukere mulighet til å selv finne den informasjonen de trenger, og benytte de verktøyene de ønsker. Plattformen er også nøytral i forhold til hvor den settes opp. De fleste kunder i Norge har valgt å implementere løsningen i Microsoft Azure.
 
IT i dag må løpe fort og tilby et raskt økende antall tjenester som skal dekke mange forskjellige forretnings behov (skalering, fleksibilitet, ressursbruk, mm). Disse tjenesten er gjerne separate informasjons-siloer - anskaffet som SaaS/PaaS/IaaS - og så teknisk forskjellige at de kobles sammen gjennom bruk av API-er og spesialtilpassede integrasjoner. Da oppstår det fort unødvendig kopiering av data.
 
Data mesh arkitekturen tar inn over seg denne virkeligheten; at informasjonen allerede er desentralisert og fragmentert og likevel må håndteres samlet. Men data mesh er ikke teknologi-sentrisk. Det vil si at arkitekturen ikke har egne tekniske løsninger. På den andre siden er data virtualisering en moden teknologi med ferdigutviklede verktøy for å håndtere akkurat de problemene data mesh forsøker løse.
 

SINTEF er en av våre kunder som har brukt data virtualisering til å koble en rekke kilder fra eksterne parter med egne interne data. De har implementert løsningen på MS Azure og er så fornøyd at de presenterer dette på Make Data Smart 2023
 

#Slutt å kopiere data