‫Vamos terminar esta visão geral de alto nível do que um engenheiro de dados faz, descrevendo as três tarefas principais que ele
‫executa.
‫Uma é que eles constroem o que chamamos de pipeline et al.
‫Ou um pipeline de carregamento de transformação de extração.
‫Portanto, ao contrário da ingestão de dados, o que significa simplesmente mover dados de um lugar para outro e seu pipeline é
‫a ideia de que um engenheiro de dados extrai os dados que foram gerados por todos esses sistemas.
‫Eles extraem esses dados e, quando extraem esses dados, eles se transformam.
‫Os dados em um formato útil que pode ser carregado em um data warehouse, então eles extraem os dados, eles
‫transformam os dados e os carregam em algo como um data warehouse para que os dados possam
‫ser usados pelo resto da empresa.
‫E eles usam linguagens de programação como Python, Go Skalla e Java para realizar esses trabalhos de ETEL ou extrair
‫e transformar o carregamento.
‫Então essa é a primeira pergunta, qual é a segunda?
‫O segundo é construir ferramentas de análise.
‫Para que possamos entender como funcionam os sistemas da nossa empresa, um engenheiro de dados precisa se certificar de que,
‫quando qualquer parte do sistema quebrar, seremos notificados.
‫Portanto, um engenheiro de dados permite que cientistas de dados, analistas de dados e pessoal de inteligência de negócios
‫usem ferramentas para analisar os dados, mas também para se certificar de que o sistema que eles implantaram está funcionando corretamente.
‫Por fim, a terceira tarefa principal é obviamente manter o data warehouse e os data lakes, garantindo que tudo
‫que está lá esteja acessível para uso de outras partes das empresas.
‫Portanto, agora que temos uma visão geral de alto nível do que um engenheiro de dados faz.
‫Eu quero falar sobre algumas das ferramentas que você definitivamente ouviu falar na
‫indústria, coisas como Hadoop, Kafka, Apache, Spark, todos esses termos que são realmente difíceis de entender.
‫Vou tentar dar uma visão geral dessa paisagem para que, da próxima vez, quando alguém perguntar se você odeia,
‫devemos usar o Hadoop?
‫Ei, para que serve o Hadoop?
‫O que nós precisamos?
‫Kafka, você será capaz de responder a isso.
‫E depois deste curso, você pode sair por conta própria e realmente aprender a usar essas ferramentas se elas aparecerem
‫em seu trabalho.
‫Agora, esse cenário está mudando rapidamente.
‫Há novas ferramentas aparecendo à esquerda, direita e centro.
‫Portanto, meu conselho para você é que o que vou mostrar a você nos
‫próximos vídeos que você não considera absolutamente obrigatório para todos os engenheiros de dados; em vez disso, saiba que eles existem, vá e
‫leia um pouco de sua documentação, algumas das informações online, mas apenas as aprenda ou use quando surgir a necessidade,
‫porque elas estão sendo constantemente atualizadas.
‫E o mundo da engenharia de dados está em um ritmo muito rápido agora.
‫Mas, dito isso, não tenhamos dúvidas sobre os dados nos próximos dois vídeos.