‫Welkom terug.
‫Dus we hebben net deze hele stroom doorgenomen van hoe gegevens door een bedrijf worden gebruikt.
‫Maar er zijn nog een paar dingen waar ik het over wil hebben, want op dit moment hebben we het net over water
‫gehad en hoe is dit echt van toepassing?
‫Wat voor tools gebruiken data-engineers eigenlijk?
‫Nou, misschien heb je wel eens van zoiets gehoord.
‫Kafka, en we komen later op Kafka, maar zoiets als het verzamelen van deze datastromen en ze in een
‫datameer stoppen.
‫Misschien iets dat Kafka of Apache Kafka zou kunnen doen voor bijvoorbeeld Data Lakes, dit zijn
‫gewoon programma's die bedrijven kunnen gebruiken.
‫Je hebt bijvoorbeeld misschien gehoord van Hadoop of Amazon S3 of de Azure Datalink.
‫Dit zijn programma's die door ingenieurs zijn gebouwd om dagelijks grote hoeveelheden gegevens vast te houden.
‫En dan hebben we voor een datawarehouse tools zoals Google Bakery, Amazon Redshift, zelfs
‫Amazon, Athena, dit zijn datawarehouses waarmee ingenieurs vragen kunnen stellen of deze gestructureerde gegevens kunnen analyseren.
‫Nu, ik weet wat je denkt, wie doet wat in dit hele systeem?
‫We hebben geleerd dat de data-engineer dit hele systeem voor ons maakt.
‫Ze gebruiken verschillende tools en programma's om gegevens op te nemen en deze vervolgens in een datameer of een datawarehouse te plaatsen.
‫Dus welke data gebruik je als datawetenschapper en machine learning-expert?
‫Pauzeer de video en denk erover na.
‫Klaar voor het antwoord?
‫Meestal werk je met een datameer.
‫Want onthoud: als je aan machine learning doet, hoe meer gegevens je hebt, hoe beter.
‫Rechts.
‫En met machine learning kun je gestructureerde of ongestructureerde data gebruiken.
‫U kunt dus een datameer ingaan en een heleboel gegevens pakken om voor uw modellen te gebruiken, of ze nu
‫in CSV-formulieren of andere formulieren zijn.
‫En meestal worden datawarehouses gebruikt door wezens of business intelligence-mensen of bedrijfsanalisten of data-analisten om
‫data te visualiseren of te analyseren, omdat het datawarehouse meestal meer gestructureerde data heeft die zijn
‫opgeschoond dan toen het een data lake was.
‫Het is een stuk eenvoudiger om de gegevens te begrijpen en te gebruiken voor informatie.
‫Nu kun je als datawetenschapper data uit een datawarehouse gebruiken.
‫En dit is niet zomaar een regel.
‫Meestal gebruikt u de gegevens die voor u bruikbaar zijn.
‫Maar dit is een goede manier om na te denken over dingen die een datawetenschapper zoveel
‫mogelijk data gebruikt, zoveel mogelijk bruikbare data, terwijl iemand als een business intelligence-persoon of een
‫data-analist de data al heeft opgeschoond, verwerkt door een data engineer en gebruikte zoiets als een datawarehouse om gegevens
‫te analyseren.
‫En de grote vraag van Google is precies dat en stelt iemand met niet al te
‫veel technische ervaring of programmeerervaring in staat om deze gegevens in een datawarehouse te analyseren.
‫Een andere manier om erover na te denken is als volgt.
‫Meestal bouwen een software-engineer, een softwareontwikkelaar, app-ontwikkelaar, mobiele ontwikkelaar programma's en apps die
‫gebruikers en klanten gebruiken en die gegevens vrijgeven.
‫Vervolgens zou een data-engineer deze pijpleiding en pijplijn voor ons bouwen om gegevens op te nemen en op te slaan in verschillende services zoals
‫Hadoop, zoals Google Bakery, zodat die gegevens toegankelijk zijn voor de rest van het bedrijf.
‫Vervolgens hebben we datawetenschappers die zowel het datameer als de datawetenschappers gebruiken om informatie te extraheren en een soort
‫zakelijke waarde te leveren.
‫Ten slotte hebben we data-analisten of business intelligence om zoiets als een datawarehouse of gestructureerde data te gebruiken om weer zakelijke
‫waarde te verkrijgen, en ik hoop dat dat het beeld een beetje duidelijk maakt als je al deze
‫titels in de branche hoort.
‫Nu evolueert de industrie snel en er is zeker enige overlap en soms kan de ene functiebeschrijving anders
‫zijn dan de andere.
‫Maar dit zijn algemene vereenvoudigde regels die u kunt gebruiken om te begrijpen hoe elke rol een rol speelt in de rol van
‫een bedrijf.