‫OK, OK, então o que um engenheiro de dados realmente faz?
‫Vamos começar com três grandes palavras que precisamos entender antes de realmente entender o que um engenheiro
‫de dados faz.
‫Sim, eu sei que continuo circulando em torno de engenheiros de dados e continuo deixando você animado, mas prometo que estamos
‫chegando muito, muito perto.
‫Precisamos apenas discutir essas três guerras das quais você pode ou não ter ouvido falar.
‫Um é data mining e data mining significa simplesmente pré-processamento e extrair algum conhecimento dos dados.
‫Portanto, usamos algum tipo de dados para extrair conhecimento disso é a mineração de dados.
‫Big data.
‫Bem, isso significa que temos muitos dados, muitas variáveis, tantos dados, na verdade,
‫que você não pode executar em seu laptop e há dados demais para seu laptop ou computador armazenar.
‫Normalmente, quando falamos sobre big data, são dados tão grandes que você precisa executá-los na computação em
‫nuvem ou em vários computadores, como W. S. Azure e nuvem do Google, porque eles têm muitos computadores e muito
‫espaço de armazenamento para armazenar esses dados.
‫Então é isso que o Big Data tem.
‫Big data são dados que você geralmente não pode ter apenas em um computador.
‫Isso geralmente acontece porque, bem, os conjuntos de dados ficam tão grandes que agora temos petabytes e petabytes de dados.
‫Portanto, apenas ter dados em um banco de dados como o da minha escola ou PostgreSQL ou qualquer tipo de banco de dados se torna realmente difícil
‫quando esse banco de dados é apenas uma máquina.
‫Agora, novas tecnologias foram inventadas para resolver esse problema de big data como Hadoop e NQ, sobre os quais
‫falaremos.
‫Agora, um pipeline de dados é essencialmente um pipeline que um engenheiro de dados constrói para usar essencialmente o fato de que
‫tínhamos essa grande quantidade de dados, precisamos extrair informações desses dados usando mineração de dados.
‫Portanto, precisamos trazer ou construir um pipeline que nos permita fluir dessa grande quantidade desconhecida de dados para
‫um pipeline que extraia os dados de uma forma mais útil.
‫Então, um engenheiro de dados essencialmente faz isso cria um canal de dados onde todas as informações
‫que diferentes dispositivos, como dispositivos Iot, aplicativos móveis, aplicativos da web, câmeras, carros e praticamente qualquer
‫coisa que coleta dados e armazena informações ou registra dados em servidores ou na nuvem
‫, um engenheiro de dados basicamente acumula todas essas informações em bancos de dados bem compactados e armazena mecanismos para
‫que diferentes partes da empresa possam criar visualizações.
‫Eles podem monitorar o desempenho de seu produto.
‫Eles podem obter insights de negócios e tomar decisões de negócios a partir desses dados e até mesmo usar esses dados em seus
‫aplicativos.
‫Por exemplo, para perfis de usuário antes de um cientista de dados ou um especialista em aprendizado de máquina ou mesmo
‫um analista de inteligência de negócios ou dados ser contratado por uma grande empresa.
‫O que eles precisam fazer antes que tudo isso possa ser feito é contratar um engenheiro de dados.
‫Eles constroem o pipeline que nos permite trabalhar como cientistas de dados.
‫Lembre-se deste diagrama e de como nos concentramos nesta parte.
‫Bem, um engenheiro de dados nos permite fazer essa parte de coleta de dados.
‫Eles trazem todas essas informações, organizam de uma forma que possamos fazer nossa modelagem de dados.
‫Eles realmente nos ajudam com essa parte de coleta de dados com a qual geralmente você não precisa se preocupar muito como engenheiro
‫de aprendizado de máquina ou cientista de dados.
‫Mas você sabe o que?
‫Minha demonstração favorita do que é um engenheiro de dados está no próximo vídeo.
‫Espero que você esteja animado porque as coisas vão começar a fazer cada vez mais sentido.
‫Eu te vejo nisso.
‫Bye Bye.