‫Laten we het hebben over Apache Spark en Apache flank, je ziet dat vóór Apache Spark mensen Hadoop-kaartproducten
‫gebruikten om alles te verwerken.
‫Spark kwam langs en verbeterde de kaartproductie en Hadoop door iets te
‫doen dat geheugenverwerking wordt genoemd, waardoor Spark in wezen verwerkingstaken veel, veel sneller kon uitvoeren dan massaproductie.
‫Dus Pache Spark werd echt, echt populair, en het is waarschijnlijk het raamwerk voor batchverwerking.
‫Dus als u veel gegevens wilt verwerken, kunt u Hadoop gebruiken om die gegevens en HDFC op te slaan en
‫Apache Spark gebruiken om ETEL-taken uit te voeren, zoals extraheren, transformeren, laden om die gegevens op te schonen en te transformeren.
‫Tot nu toe hadden we batchverwerking, wat in feite betekent dat je me een stuk gegevens geeft en
‫ik zal deze gegevens over een tijdje verwerken, meestal zou je aan het einde van de nacht en in de
‫ochtend, na een paar uur, is de klus geklaard.
‫Maar sinds een paar jaar geleden begon het idee van realtime verwerking te ontstaan.
‫Er kwamen zaken als sparkstreaming uit, waardoor realtime verwerking bijna mogelijk werd.
‫Dat wil zeggen, in plaats van batchverwerking, waarbij u tot het einde van de nacht wachtte om enkele taken uit te voeren
‫op de hoeveelheid gegevens.
‫In plaats daarvan verwerk je elke keer dat er gegevens binnenkomen die gegevens in deze ruimte.
‫Apache Flink nam echt de leiding.
‫Het biedt nu realtime streamverwerking, hoewel Spark nog steeds populair is, beginnen tools zoals Apache Flink
‫populair te worden.
‫Nu wordt dit idee van het streamen van gegevens en het verwerken van streams steeds populairder.
‫Het is nog nieuw, maar er gebeuren spannende dingen in dit landschap.
‫Laten we het daar dus over hebben in de volgende video.