‫Oké, dus in de vorige video begrepen we dat een data-engineer in wezen deze datapijplijn voor ons
‫creëert, zodat mensen zoals datawetenschappers over beschikbare data kunnen beschikken om mee te werken.
‫Maar ik wil een ander voorbeeld gebruiken.
‫Laten we doen alsof Keiko Corp een behoefte heeft en die behoefte is aan water, de medewerkers hebben water nodig.
‫Om hard te werken, toch?
‫Laten we dit dus zien als een probleem dat een data-engineer oplost.
‫Nu geduld met mij.
‫We gaan het een paar minuten hebben over water, maar ik beloof je dat het te maken heeft met data.
‫Zie je, het allereerste dat we water krijgen, is de hoeveelheid regen.
‫We hebben regen nodig.
‫En dit is vergelijkbaar met de gegevensbronnen die we hadden.
‫Dat zijn de websites, de mobiele telefoons, de camera's, de auto's, de drones.
‫Dit zijn allemaal gegevens aan het verzamelen.
‫Dat zijn de regendruppels.
‫Dus om water bij onze medewerkers te krijgen, moeten we ergens water vandaan halen.
‫En dat water komt van regen.
‫Vervolgens wordt dat water opgevangen in twee verschillende stromen en rivieren van overal, precies van over de hele wereld, net
‫als gegevens van alle verschillende plaatsen, deze waterstromen beginnen zich te vormen.
‫En wat gebeurt er daarna?
‫Welnu, deze waterstromen veranderen in meren.
‫Ze stromen allemaal in een soort meer.
‫En dat meer zit een beetje stil.
‫Maar nogmaals, wij Kako Korp, willen gewoon water van medewerkers.
‫Nou, we hebben duidelijk een dam in een meer en die dam in een meer of een systeem om dat meer te gebruiken.
‫Welnu, we transporteren dat water naar zoiets als een filtratie-sanitair gebied, zodat we het water kunnen reinigen, ontsmetten zodat
‫het veilig is voor mensen om te drinken.
‫Dat opgevangen water verwerken we dus.
‫En dan eindelijk, na dat alles, maken we alle leidingen en leidingen voor ons om water te leveren aan
‫Kako Corp..
‫Zo voldoen we aan de behoeften van Chaco Corp. om hun werknemers van water te voorzien, en
‫dit is hoe data werken en dit is wat een data-engineer heeft gebouwd, een data-engineer begint met
‫wat we data-opname noemen, het verkrijgen van data uit verschillende bronnen.
‫En we verwerven al deze verschillende gegevensbronnen en nemen deze op.
‫In wat we een datameer noemen, is een datameer een verzameling van al deze gegevens op één locatie.
‫Vanaf daar konden we het meer gewoon laten zoals het is.
‫Maar er is een probleem.
‫We willen niet dat het meer overstroomt.
‫We moeten dit meer op de een of andere manier beheren.
‫We willen het dorp niet laten overstromen.
‫We hebben dammen nodig.
‫We hebben leidingen nodig naar de huizen.
‫We moeten het water filteren en reinigen en we hebben leidingen nodig naar de huizen.
‫Dus nadat we deze gegevens uit verschillende bronnen hebben opgenomen, verzamelen we deze in een datameer.
‫Vervolgens voeren we iets uit dat gegevenstransformatie wordt genoemd en waarbij gegevens van het ene formaat naar het andere worden geconverteerd,
‫meestal in iets dat we een datawarehouse noemen.
‫Een datawarehouse is een plaats waar toegankelijke gegevens worden opgeslagen die nuttig zijn voor het bedrijf.
‫Dat wil zeggen, hoewel het meer zoveel water verzamelt, zoveel gegevens die overal te vinden waren.
‫Een data-engineer bekijkt deze data en vormt of gebruikt de delen van de data die nuttig zijn en plaatst deze in
‫een datawarehouse zodat andere delen van de business er weer gebruik van kunnen maken.
‫Een goede manier om erover na te denken is dat een data lake een verzameling ruwe data is.
‫Het doel waarvan we in een datawarehouse nog steeds niet weten wat we ermee moeten, is een locatie voor gestructureerde,
‫gefilterde data die is verwerkt en een specifiek doel heeft.
‫Dat wil zeggen, we hebben hier gegevens die nuttig zijn voor het bedrijf.
‫Dat betekent dus dat datameren meestal minder georganiseerd zijn en minder filtratie van gegevens hebben dan zoiets als
‫een datawarehouse.
‫Waarom zouden bedrijven dat willen doen?
‫Ten eerste is het een stuk eenvoudiger om gegevens te analyseren als ze zijn georganiseerd.
‫We kunnen hier ook gegevens hebben die we niet echt nodig hebben.
‫Ook besparen we op opslagruimte.
‫Juist, want we hoeven niet al deze gegevens op te slaan en slaan alleen gestructureerde gegevens op die alleen voor
‫ons nuttig zijn.
‫We besparen onszelf ook wat geld.
‫Dus om een data-engineer te beoordelen, bouwt u eenvoudigweg deze pijplijn van het maken van gegevens en
‫het vastleggen van gegevens met behulp van data-engineeringpraktijken om deze pijplijn te bouwen, zodat gegevens nu kunnen worden geanalyseerd door gegevenswetenschappers
‫en gegevensanalisten.
‫Maar we hebben nog een klein stukje te gaan.
‫Dus ik zie je in de volgende video.