‫Welkom terug.
‫Ik wil een korte paragraaf nemen om een onderwerp te behandelen dat vaak wordt vergeten in datawetenschaps- en
‫machine learning-cursussen.
‫Om een onderwerp echt te begrijpen, moeten we echter de principes op hoog niveau en het landschap
‫van dat onderwerp begrijpen.
‫In dit geval willen we aan de slag als datawetenschapper of machine learning engineer.
‫We moeten dus op zijn minst het onderwerp data-engineering begrijpen.
‫Maar wat betekent dat?
‫Wat is er met al die titels, datawetenschapper, data-analist, datavisualisatie, dit is waanzin, dit is
‫zo verwarrend.
‫Laten we het hebben over data-engineering en hoe het past in dit hele ecosysteem waar we het tot nu toe
‫over hadden.
‫Nu hebben we geleerd dat datawetenschap draait om het gebruik van data om zakelijke beslissingen te nemen.
‫Rechts.
‫Een van de manieren waarop we zakelijke beslissingen kunnen nemen, is door een techniek als machine learning te gebruiken.
‫En dat stelt een computer in staat om te leren en de oplossing te vinden voor een probleem dat misschien
‫een beetje te ingewikkeld is voor een mens om op te lossen of dat te vervelend is en te lang duurt.
‫Dus we willen het automatiseren, zodat machine learning een techniek is en datawetenschap het idee is om gegevens te gebruiken en om
‫te zetten in iets dat nuttig is voor een product of bedrijf.
‫En data-analyse is een subset van datawetenschap waarmee we de data die we hebben kunnen analyseren, maar het ontbrekende
‫stuk is dat van data-engineering en niet alle bedrijven hebben data-engineers.
‫Maar naarmate bedrijven groter en groter worden, moeten ze mensen voor deze rol aannemen.
‫Laten we eens kijken waarom wie ons al deze gegevens in een leuk bestandje brengt.
‫Waar komen deze gegevens vandaan?
‫Hoe regelen we het?
‫Gooien we het weg als we klaar zijn?
‫Wie heeft deze gegevens gelabeld?
‫U ziet dat een datawetenschapper of een machine learning-expert zich meestal niet met deze
‫onderwerpen bezig hoeft te houden.
‫Idealiter heb je de data voor je toegankelijk, omdat dit deel van de data wordt afgehandeld door een data-engineer, dus wie
‫is deze mythische figuur?
‫Nou, een data-engineer zou alle datapunten die binnenkomen, laten we zeggen voor een bedrijf nemen.
‫Laten we zeggen dat dit bedrijf al deze producten en al deze gegevens heeft die afkomstig
‫zijn van hun gebruikers, van hun beveiligingscamera's, van hun website, van IoT-apparaten.
‫En een data-engineer neemt al deze informatie op.
‫En produceert het vervolgens en houdt het bij in databases of een bepaald type computers, zodat het bedrijf op
‫een georganiseerde manier toegang heeft tot deze gegevens.
‫Dus ze zijn een beetje zoals de bibliothecarissen waar ze al deze informatie verzamelen
‫en ze voor ons organiseren zodat mensen zoals machine learning of data science-experts deze gegevens kunnen gebruiken.
‫Maar dit is een vereenvoudigde versie van wat een data-engineer doet.
‫Om dit echt te begrijpen, moeten we teruggaan naar het begin en de vraag
‫stellen, wat zijn gegevens die ik in de volgende zal zien.