‫OK, OK, dus wat doet een data-engineer eigenlijk?
‫Laten we beginnen met drie grote woorden die we moeten begrijpen voordat we echt begrijpen wat
‫een data-engineer doet.
‫Ja, ik weet dat ik rond data-engineer blijf cirkelen en ik blijf je enthousiast maken, maar ik beloof dat we
‫heel, heel dichtbij komen.
‫We hoeven het alleen maar te hebben over deze drie oorlogen waarvan je misschien wel of niet hebt gehoord.
‫Een daarvan is datamining en datamining betekent simpelweg voorbewerken en het extraheren van wat kennis uit de gegevens.
‫Dus we gebruiken een soort data om kennis uit te halen, dat is wat datamining is.
‫Grote gegevens.
‫Het betekent dat we veel data hebben, veel variabelen, zoveel data dat je
‫niet op je laptop kunt draaien en dat er gewoon te veel data is voor je laptop of computer.
‫Als we het over big data hebben, zijn het meestal gegevens die zo groot zijn dat je ze op cloud
‫computing of op meerdere computers zoals een W. S. Azure en Google cloud, omdat ze veel computers en veel opslagruimte
‫hebben om deze gegevens op te slaan.
‫Dus dat is wat Big Data heeft.
‫Big data zijn gegevens die u normaal gesproken niet op één computer kunt hebben.
‫Dit gebeurt meestal omdat datasets zo groot worden dat we nu petabytes en petabytes aan data hebben.
‫Dus alleen het hebben van gegevens in een database zoals mijn school of PostgreSQL of welk type database dan ook, wordt echt moeilijk
‫wanneer die database slechts één enkele machine is.
‫Nu zijn er nieuwe technologieën uitgevonden om dit probleem van big data op te lossen, zoals Hadoop en NQ, waar we het allemaal over
‫zullen hebben.
‫Nu is een datapijplijn in wezen een pijplijn die een data-engineer bouwt om in wezen gebruik te maken van het feit dat we
‫deze grote hoeveelheid gegevens hadden, we moeten informatie uit deze gegevens halen met behulp van datamining.
‫We moeten dus een pijplijn brengen of bouwen die ons in staat stelt om van die onbekende grote hoeveelheid gegevens naar
‫een pijplijn te stromen die gegevens extraheert en in een meer bruikbare vorm brengt.
‫Dus een data-engineer doet dit in wezen, creëert een datapijplijn waar alle informatie die verschillende
‫apparaten zoals Iot-apparaten, mobiele applicaties, web-apps, camera's, auto's en vrijwel alles dat gegevens verzamelt
‫en informatie opslaat of logt op servers of in de cloud , een
‫data-engineer verzamelt in wezen al deze informatie in mooi verpakte databases en slaat engines op zodat verschillende
‫delen van het bedrijf visualisaties kunnen maken.
‫Ze kunnen de prestaties van hun product volgen.
‫Ze kunnen zakelijke inzichten krijgen en zakelijke beslissingen nemen op basis van deze gegevens en deze gegevens zelfs gebruiken in hun
‫apps.
‫Bijvoorbeeld voor gebruikersprofielen voordat een datawetenschapper of een machine learning-expert of zelfs een business
‫intelligence- of data-analist wordt ingehuurd voor een groot bedrijf.
‫Het ding dat ze moeten doen voordat dat allemaal kan worden gedaan, is het inhuren van een data-engineer.
‫Ze bouwen de pijplijn die ons in staat stelt om als datawetenschappers te werken.
‫Onthoud dit diagram en hoe we ons op dit onderdeel hebben geconcentreerd.
‫Welnu, een data-engineer stelt ons in staat om dit deel van het verzamelen van gegevens te doen.
‫Ze brengen al deze informatie binnen, organiseren het op een manier voor ons om onze datamodellering te doen.
‫Ze helpen ons echt met dit onderdeel van het verzamelen van gegevens waar je je als machine learning engineer of data scientist meestal niet
‫al te veel mee bezig hoeft te houden.
‫Maar weet je wat?
‫Mijn favoriete demonstratie van wat een data-engineer is, is in de volgende video.
‫Ik hoop dat je enthousiast bent, want dingen beginnen steeds logischer te worden.
‫Ik zie je bij die ene.
‫Tot ziens.