‫OK, então no vídeo anterior, entendemos que um engenheiro de dados essencialmente cria esse pipeline de dados
‫para nós, para que pessoas como cientistas de dados tenham dados disponíveis para trabalhar.
‫Mas quero usar um exemplo diferente.
‫Vamos fingir que a Keiko Corp tem uma necessidade e essa necessidade é de água, os funcionários precisam de água.
‫Para trabalhar duro, certo?
‫Então, vamos pensar nisso como um problema que um engenheiro de dados resolve.
‫Agora, tenha paciência comigo.
‫Vamos falar sobre água por alguns minutos, mas prometo que se refere a dados.
‫Veja, a primeira coisa para conseguirmos água é a taxa de chuva.
‫Precisamos de chuva.
‫E isso é semelhante às fontes de dados que tínhamos.
‫São os sites, os telefones celulares, as câmeras, os carros, os drones.
‫Todos eles estão coletando dados.
‫Isso é o que são as gotas de chuva.
‫Portanto, para fornecermos água aos nossos funcionários, temos que obter água de algum lugar.
‫E essa água vem da chuva.
‫Em seguida, essa água é coletada em dois riachos e rios diferentes de todos os lugares, direto de todo o mundo, assim como
‫os dados de todos os lugares diferentes, esses riachos de água começam a se formar.
‫E o que acontece a seguir?
‫Bem, esses riachos de água se transformam em lagos.
‫Todos eles fluem para uma espécie de lago.
‫E aquele lago meio que fica parado.
‫Mas, novamente, nós, Kako Korp, só queremos água dos funcionários.
‫Bem, obviamente temos uma barragem em um lago e aquela barragem em um lago ou um sistema para usar aquele lago.
‫Bem, nós transportamos essa água para algo como uma área sanitária de filtração para que possamos limpar a água, higienizá-la
‫para que seja segura para as pessoas beberem.
‫Então, processamos a água que foi coletada.
‫E então, finalmente, depois de tudo isso, criamos todos os encanamentos e canos para entregarmos água à Kako
‫Corp ..
‫É assim que satisfazemos as necessidades da Chaco Corp. para fornecer água para seus funcionários, e é assim que
‫os dados funcionam e é isso que um engenheiro de dados construiu, um engenheiro de dados começa com o que
‫chamamos de ingestão de dados, que está adquirindo dados de várias fontes.
‫E adquirimos todas essas diferentes fontes de dados e os ingerimos.
‫No que chamamos de data lake, um data lake é uma coleção de todos esses dados em um único local.
‫De lá, poderíamos simplesmente deixar o lago como está.
‫Mas há um problema.
‫Não queremos que o lago transborde e seque.
‫Precisamos gerenciar este lago de alguma forma.
‫Não queremos inundar a aldeia.
‫Precisamos de represas.
‫Precisamos de tubos para as casas.
‫Precisamos filtrar e limpar a água e encanar as casas.
‫Então, depois de ingerir esses dados de várias fontes, nós os coletamos em um data lake.
‫Em seguida, executamos algo chamado transformação de dados, que é a conversão de dados de um formato para outro,
‫geralmente em algo que chamamos de data warehouse.
‫Um data warehouse é um local que armazena dados acessíveis que são úteis para o negócio.
‫Ou seja, embora o lago colete muita água, tantos dados que estavam meio espalhados.
‫Um engenheiro de dados examina esses dados e forma ou usa as partes dos dados que são úteis e os coloca
‫em um data warehouse para que outras partes da empresa possam usá-los novamente.
‫Uma boa maneira de pensar sobre isso é que um data lake é um pool de dados brutos.
‫O propósito do qual ainda não sabemos o que fazer em um data warehouse é um local para dados estruturados
‫e filtrados que foram processados e têm um propósito específico.
‫Ou seja, temos dados aqui que são úteis para o negócio.
‫Isso significa que os data lakes geralmente são menos organizados e têm menos filtragem de dados do que algo como um
‫data warehouse.
‫Agora, por que as empresas querem fazer isso?
‫Bem, por um lado, é muito mais fácil analisar dados quando estão organizados.
‫Bem, também podemos ter dados aqui que realmente não precisamos.
‫Também economizamos espaço de armazenamento.
‫Certo, porque não temos que armazenar todos esses dados e apenas armazenar dados estruturados apenas aqueles que são úteis apenas
‫para nós.
‫Nós também economizamos algum dinheiro.
‫Portanto, para revisar um engenheiro de dados, basta construir esse pipeline de criação e captura de dados usando
‫práticas de engenharia de dados para construir esse pipeline de forma que os dados possam agora ser analisados por cientistas e analistas
‫de dados.
‫Mas ainda temos um pouco mais pela frente.
‫Então, vejo vocês no próximo vídeo.