‫Laten we het hebben over Hadoop, dus toen bedrijven steeds meer gegevens begonnen te genereren,
‫werden onze databases die we hadden, zoals MySQL, te inefficiënt of konden ze de grote hoeveelheden gegevens niet meer bevatten, en
‫Hadoop werd een hoeksteen van data-engineering.
‫Zie je, Hadoop is een open source gedistribueerd verwerkingsraamwerk.
‫Het stelt ons in staat om gegevensverwerking en opslag voor big data uit te voeren.
‫En het is eigenlijk ontwikkeld door Yahoo!
‫Vroeger en later gedoneerd aan de Apache Software Foundation.
‫Hadoop was een rage toen de big data-rage begon, Hadoop was een oplossing waarmee al deze bedrijven
‫met petabytes aan gegevens deze informatie in Hadoop konden opslaan.
‫Nu, Hadoop was in wezen een datalek, toch?
‫Het is een data lake-oplossing.
‫Het stelt ons in staat om al deze gegevens gewoon voor ons op te slaan.
‫Maar de populariteit van Hadoop was te danken aan twee grote dingen.
‫Een daarvan was HDFC, dat is het Hadoop-gedistribueerde bestandssysteem.
‫Hadoop kon hierdoor zoveel gegevens opslaan, een bestandssysteem zoals je op je computer hebt waarmee
‫het bestanden op meerdere computers kon opslaan.
‫Dat wil zeggen, we kunnen Hadoop op meerdere computers gebruiken om zoveel gegevens op te slaan als we willen.
‫Het was schaalbaar.
‫We zouden kunnen opschalen.
‫Gegevens worden dus op verschillende fysieke computers opgeslagen.
‫Toen werd de kaart verkleind, want als we eenmaal gegevens hebben opgeslagen, moeten we wat taken uitvoeren, wat verwerking op die gegevens,
‫toch.
‫En kaartverkleining en Hadoop stelde ons in staat om taken uit te voeren tegen deze gegevens die we hadden in een datameer met
‫talen als Java of Python.
‫U kunt Map, Reduce en Hadoop gebruiken om te doen wat we batchverwerking noemen.
‫Dat wil zeggen, elke avond kunnen we een of andere taak uitvoeren om onze gegevens op te schonen, onze gegevens te verwerken en
‫nuttig te maken voor het bedrijf.
‫Nu wordt Map Reduce niet zo vaak meer gebruikt als we later in de video's zullen zien, omdat we iets hebben dat Apache Spark heet
‫en dat eigenlijk een beetje sneller is, maar daar komen we op terug.
‫Het idee hier is dat we eindelijk een tool hadden met Hadoop waarmee
‫we veel gegevens op meerdere machines kunnen opslaan met behulp van de toegangs- en batchtaken, met massaproductie op deze grote gegevenssets.
‫En er verschenen veel andere tools rond Hadoop-tools zoals Hive.
‫Hou trouwens van hun logo.
‫Kijk dat maar eens, Hive maakt je Hadoop-cluster.
‫Voel alsof het een relationele database is.
‫Ook al is dat niet het geval, het stelt je in staat Hive te gebruiken en Eskil-query's te schrijven tegen je eerste bestandssysteem.
‫Dus in zekere zin had je een soort datalek van Hadoop en ook een beetje een datawarehouse-achtig ding met Hive door je
‫alle commando's op je gegevens toe te staan die hopelijk werden verwerkt met behulp van kaartproducten.
‫En je hebt misschien nog nooit van Hadoop gehoord, omdat het wordt gebruikt door data-engineers.
‫Onthoud dat data-engineers meestal niet werken aan systemen die klantgericht zijn.
‫Dat wil zeggen, ze bouwen geen databases die u zou gebruiken met uw app of met een webapp.
‫In plaats daarvan bouwen ze de systemen achter de schermen die ETL-taken opnemen, verzamelen, uitvoeren, dat wil zeggen extraheren,
‫transformeren en laden op gegevens.
‫Dus Hadoop is die opslaglaag achter de schermen die grote hoeveelheden gegevens opslaat met batchverwerking tegen deze
‫gegevens, zodat we wat nuttige informatie kunnen hebben.
‫En Hadoop is nog steeds erg populair en zeer capabel als het gaat om grote hoeveelheden data, petabytes aan data.
‫Laten we in de volgende video nog een paar tools leren.