‫Laten we dit overzicht op hoog niveau van wat een data-engineer doet afmaken door de drie hoofdtaken die ze doen te
‫beschrijven.
‫Een daarvan is dat ze bouwen wat we een et al-pijplijn noemen.
‫Of een extractietransformatieladingspijplijn.
‫Dus in tegenstelling tot gegevensopname, wat simpelweg betekent dat gegevens van de ene plaats naar de andere en de bijbehorende pijplijn
‫worden verplaatst, is het idee dat een data-engineer gegevens extraheert die door al deze systemen zijn gegenereerd.
‫Ze extraheren die gegevens en wanneer ze die gegevens extraheren, transformeren ze.
‫De gegevens in een bruikbare vorm die in een vorm is die in een datawarehouse kan worden geladen, zodat ze de gegevens extraheren,
‫ze transformeren de gegevens en ze laden het in zoiets als een datawarehouse, zodat de gegevens door de rest
‫kunnen worden gebruikt van het bedrijf.
‫En ze gebruiken programmeertalen zoals Python, Go Skalla en Java om deze ETEL-taken uit te voeren of belasting
‫te extraheren, te transformeren.
‫Dus dat is de eerste vraag, wat is de tweede?
‫De tweede is het bouwen van analysetools.
‫U ziet voor ons om te begrijpen hoe onze bedrijfssystemen werken, een data-engineer moet ervoor zorgen dat wanneer een deel van het
‫systeem kapot gaat, we op de hoogte worden gesteld.
‫Dus een data-engineer stelt datawetenschappers, data-analisten en business intelligence-mensen in staat om tools te gebruiken om de
‫data te analyseren, maar ook om ervoor te zorgen dat het systeem dat ze hebben opgezet correct werkt.
‫Ten slotte is hun derde hoofdtaak uiteraard het onderhouden van het datawarehouse en de datameren, die ervoor zorgen dat
‫alles daarbinnen toegankelijk is voor gebruik door andere delen van de bedrijven.
‫Dus nu we een overzicht op hoog niveau hebben van wat een data-engineer doet.
‫Ik wil het hebben over enkele van de tools waarvan je zeker hebt gehoord
‫in de branche, dingen als Hadoop, Kafka, Apache, Spark, al deze termen die echt moeilijk te begrijpen zijn.
‫Ik ga proberen je een overzicht van dit landschap te geven, zodat we de volgende keer dat iemand je vraagt om
‫te haten, Hadoop moeten gebruiken?
‫Hé, waar is Hadoop voor?
‫Wat hebben we nodig?
‫Kafka, daar kun je antwoord op geven.
‫En na deze cursus kun je zelf aan de slag en leer je deze tools ook daadwerkelijk te gebruiken als je ze ooit
‫in je werk tegenkomt.
‫Nu verandert dit landschap snel.
‫Er verschijnen nieuwe tools links, rechts en in het midden.
‫Dus mijn advies aan jou is dat wat ik je ga laten zien in
‫de volgende paar video's die je niet als de absolute must-know voor alle data-ingenieurs neemt, in plaats daarvan weet dat ze bestaan, ga en
‫lees wat van hun documentatie, een deel van de informatie online, maar leer of gebruik ze alleen als dat nodig
‫is, omdat ze voortdurend worden bijgewerkt.
‫En de wereld van data-engineering is momenteel erg snel.
‫Maar dat gezegd hebbende, laten we geen twijfel hebben over de gegevens in de volgende paar video's.