‫Vamos falar sobre o Hadoop, então, à medida que as empresas começaram a gerar mais e mais dados,
‫nossos bancos de dados que tínhamos, como o MySQL, tornaram-se muito ineficientes ou incapazes de armazenar grandes quantidades de dados, e o Hadoop se
‫tornou a base da engenharia de dados.
‫Veja, o Hadoop é uma estrutura de processamento distribuído de código aberto.
‫Ele nos permite fazer processamento e armazenamento de dados para big data.
‫E na verdade foi desenvolvido pelo Yahoo!
‫No passado e depois doado para a Apache Software Foundation.
‫O Hadoop estava na moda quando a mania do big data começou, o Hadoop era uma solução que permitia que
‫todas essas empresas com petabytes de dados armazenassem essas informações no Hadoop.
‫Agora, o Hadoop era essencialmente um vazamento de dados, certo?
‫É uma solução de data lake.
‫Ele nos permite apenas armazenar todos esses dados para nós.
‫Mas a popularidade do Hadoop se deve a dois fatores importantes.
‫Um era o HDFC, que é o sistema de arquivos distribuído do Hadoop.
‫O Hadoop foi capaz de armazenar tantos dados por causa disso, um sistema de arquivos exatamente como o que você tem em
‫seu computador que permitiu armazenar arquivos em vários computadores.
‫Ou seja, podemos usar o Hadoop em vários computadores para armazenar quantos dados quisermos.
‫Era escalável.
‫Podemos aumentar a escala.
‫Portanto, os dados são armazenados em diferentes computadores físicos.
‫Em seguida, o mapa foi reduzido porque uma vez que armazenamos os dados, precisamos realizar alguns trabalhos, algum processamento nesses dados,
‫certo.
‫E a redução do mapa e o Hadoop nos permitiram realizar trabalhos com esses dados que tínhamos em um data lake usando
‫linguagens como Java ou Python.
‫Você pode usar Map, Reduce e Hadoop para fazer o que chamamos de processamento em lote.
‫Ou seja, todas as noites podemos executar algum tipo de trabalho para limpar nossos dados, para processar nossos dados e
‫torná-los úteis para a empresa.
‫Agora, o Map Reduce não é mais usado com tanta frequência como veremos mais tarde nos vídeos, porque temos algo chamado
‫Apache Spark que é um pouco mais rápido, mas chegaremos lá.
‫A ideia aqui é que finalmente tínhamos uma ferramenta com Hadoop que nos permite armazenar
‫muitos dados em várias máquinas usando o acesso e executar trabalhos em lote, usando produção em massa nesses grandes conjuntos de dados.
‫E muitas outras ferramentas começaram a surgir em torno das ferramentas do Hadoop, como o Hive.
‫Amei o logotipo deles, a propósito.
‫Verifique isso de qualquer maneira, o Hive cria seu cluster Hadoop.
‫Sinta-se como um banco de dados relacional.
‫Mesmo que não seja, ele permite que você use o Hive e escreva consultas Eskil em seu primeiro sistema de arquivos.
‫Então, de certa forma, você meio que teve esse vazamento de dados do Hadoop e também um pouco do tipo de warehouse de dados com
‫o Hive, permitindo a você todos os comandos em seus dados que, esperançosamente, foram processados usando a produção de mapa.
‫E você pode não ter ouvido falar do Hadoop antes porque ele é usado por engenheiros de dados.
‫Lembre-se de que os engenheiros de dados geralmente não trabalham em sistemas voltados para o cliente.
‫Ou seja, eles não criam bancos de dados que você usaria com seu aplicativo ou com um webapp.
‫Em vez disso, eles constroem os sistemas nos bastidores que ingere, coleta, executa tarefas de ETL, ou seja, extrai,
‫transforma e carrega os dados.
‫Portanto, o Hadoop é aquela camada de armazenamento nos bastidores que armazena grandes quantidades de dados em processamento em lote com
‫relação a esses dados para que possamos ter algumas informações úteis.
‫E o Hadoop ainda é muito popular e muito capaz quando se trata de grandes volumes de dados, petabytes de dados.
‫Vamos aprender mais algumas ferramentas no próximo vídeo.