‫Vamos falar sobre o Apache Spark e o flanco do Apache, você vê antes do Apache Spark, geralmente as pessoas usavam a produção
‫de mapas do Hadoop para processar tudo.
‫O Spark veio e realmente melhorou a produção do mapa e o Hadoop fazendo algo chamado de
‫processamento de memória, o que essencialmente permitiu ao Spark executar tarefas de processamento muito, muito mais rápido do que a produção em massa.
‫Portanto, o Pache Spark se tornou muito, muito popular e provavelmente é a estrutura de processamento em lote ideal.
‫Portanto, se você deseja processar muitos dados, pode usar o Hadoop para armazenar esses dados e HDFC
‫e usar o Apache Spark para executar trabalhos ETEL como extrair, transformar, carregar para limpar e transformar esses dados.
‫Agora, até agora, tínhamos processamento em lote, o que essencialmente significa me dar um pedaço de dados e vou
‫processar esses dados durante um certo tempo, normalmente você executaria um trabalho de processamento em lote no final da noite e em
‫de manhã, depois de algumas horas, o trabalho está feito.
‫Mas há alguns anos, a ideia do processamento em tempo real começou a acontecer.
‫Coisas como streaming de faíscas surgiram, o que quase tornou possível o processamento em tempo real.
‫Ou seja, em vez de processamento em lote, onde você esperava até o final da noite para executar alguns trabalhos
‫na quantidade de dados.
‫Em vez disso, toda vez que os dados chegam, você os processa neste espaço.
‫Apache Flink realmente assumiu o comando.
‫Ele oferece processamento de stream em tempo real agora, embora o Spark ainda seja popular, ferramentas como o Apache Flink estão começando
‫a se tornar populares.
‫Agora, essa ideia de streaming de dados e processamento de stream está se tornando cada vez mais popular.
‫Ainda é novo, mas há coisas interessantes acontecendo nesta paisagem.
‫Então, vamos falar sobre isso no próximo vídeo.