‫Bem vindo de volta.
‫Portanto, aprendemos que, como engenheiro de dados, você coleta dados, ingere dados e, em seguida, os armazena em um
‫data lake, geralmente um cluster Hadoop.
‫Agora, essa ideia de vazamento de dados também pode ser usada com algo como AYSO, S3 Object Storage.
‫Portanto, esses são os dois mais populares.
‫E então, quando eles estiverem em seu data lake, você geralmente pode executar jobs em lote nesses dados para limpá-los
‫ou modificá-los ou alterá-los de alguma forma.
‫Então, o Hadoop nos permitiu fazer isso com produção em massa, podemos usar o Apache Spark, você pode apenas escrever scripts manualmente
‫no Amazon S3 ou pode até mesmo fazer melhores trabalhos com bancos de dados de comunicação, como perguntar a todos os bancos de dados.
‫Mas essa ideia de um processamento de fluxo está se tornando cada vez mais popular.
‫Em vez de processar dados usando apenas tarefas em lote, digamos a cada hora ou todos os dias, agora há um movimento em
‫direção a essa ideia de processamento de fluxo em tempo real.
‫Isso significa que, quando os dados são recebidos, processá-los imediatamente, em vez de esperar um pouco até que possamos fazer lotes
‫de cada vez.
‫Isso nos permite ter reações mais rápidas aos dados.
‫Agora, essa ideia de processamento de fluxo é bastante complicada, mas uma das principais ferramentas que está
‫sendo usada agora para o processamento de fluxo é algo chamado Kafka.
‫Kafka, se olharmos em seu site, é uma plataforma de streaming distribuída.
‫Ele nos permite ler e gravar fluxos de dados, como o sistema de mensagens.
‫Isso nos permite processar e também armazenar dados.
‫Mas como você pode ver o que o Kafka faz, ele nos permite receber mensagens e repassá-las a diferentes lugares.
‫Então, porque você verá com frequência é que usamos Apache, Kafka para receber todas essas mensagens, logs e
‫dados de todas essas fontes, nós os coletamos em um local central e então Kafka pode repassá-los para diferentes
‫locais.
‫Por exemplo, podemos passar tudo o que Kafka recebe para um cluster do Hadoop para armazenar esses dados.
‫E então, talvez, se quisermos usar o Apache Spark para processar esses dados em um data warehouse.
‫Mas agora, com a ideia de processamento em tempo real, Kafka nos permite passar as coisas para a própria parede, ou podemos
‫usar algo como Spark Streaming ou Flink, de que falamos, Apache Flink, que é mais
‫usado para processamento de fluxo ou Apache Storm ou mesmo Kinesis da Amazon, que na verdade também podem ser colocados
‫como Kafka aqui para lidar com todas essas mensagens de todos esses locais.
‫Agora, no final do dia, tudo isso pode ter sido confuso.
‫Você pode ficar surpreso com todas essas ferramentas disponíveis.
‫Mas lembre-se do que eu disse no início desta seção, um engenheiro de dados é alguém com
‫quem você vai interagir como cientista de dados.
‫Portanto, é bom saber o que eles fazem, quais são suas funções, quais são suas responsabilidades.
‫E você trabalhará junto com eles para ter os dados disponíveis para realizar análises ou construir modelos de aprendizado
‫de máquina.
‫Mas espero que este diagrama agora faça sentido.
‫Um engenheiro de dados cria esse cenário para você, onde ingerem dados por meio de informações da loja Kafka
‫usando algo como Hadoop ou Amazon S3.
‫Eles processam esses dados usando algo como Apache Spark ou Kinesis.
‫E então eles até armazenam dados em data warehouses, para que ferramentas como Redshift ou Becherer possam ser usadas
‫por pessoas dentro da empresa para aprender algo útil com os dados.
‫Eles constroem a estrutura para você florescer.
‫Então seja legal com eles.
‫E se você já se interessou por qualquer uma dessas tecnologias, elas estão mudando muito rápido.
‫Mas definitivamente vale a pena dar uma olhada e não são tão intimidantes de aprender quanto você pode pensar.
‫Eu verei no próximo.
‫Tchau.