‫Parlons d'Apache Spark et du flanc d'Apache, vous voyez avant Apache Spark, généralement les gens utilisaient la production
‫de cartes Hadoop pour tout traiter.
‫Spark est arrivé et a en fait amélioré la production de cartes et Hadoop en faisant quelque
‫chose appelé traitement de la mémoire, qui a essentiellement permis à Spark d'exécuter des tâches de traitement beaucoup plus rapidement que la production de masse.
‫Pache Spark est donc devenu vraiment, vraiment populaire, et c'est probablement le framework de traitement par lots idéal.
‫Donc, si vous souhaitez traiter beaucoup de données, vous pouvez utiliser Hadoop pour stocker ces données et HDFC
‫et utiliser Apache Spark pour exécuter des tâches ETEL comme extraire, transformer, charger pour nettoyer et transformer ces données.
‫Maintenant, jusqu'à présent, nous avions un traitement par lots, ce qui signifie essentiellement me donner un morceau de données et je
‫traiterai ces données sur un peu de temps, généralement vous exécutiez un travail de traitement par lots à la fin de la nuit
‫et en le matin, après quelques heures, le travail est fait.
‫Mais il y a quelques années, l'idée d'un traitement en temps réel a commencé à émerger.
‫Des choses comme le streaming par étincelles sont sorties, ce qui a presque rendu possible le traitement en temps réel.
‫C'est-à-dire, au lieu d'un traitement par lots, où vous avez attendu jusqu'à la fin de la nuit pour exécuter certains travaux sur
‫la quantité de données.
‫Au lieu de cela, chaque fois que des données arrivent, vous traitez ces données dans cet espace.
‫Apache Flink a vraiment pris la charge.
‫Il offre désormais un traitement de flux en temps réel, bien que Spark soit toujours populaire, des outils comme Apache Flink
‫commencent à devenir populaires.
‫Maintenant, cette idée de streaming de données et de traitement de flux devient de plus en plus populaire.
‫C'est encore nouveau, mais il se passe des choses passionnantes dans ce paysage.
‫Alors parlons-en dans la prochaine vidéo.